网站首页 > 技术文章 正文
hive版本是hive 3.1.2
生产上突然发现Hiveserver2响应有问题,通过jstat查看hiveserver2的gc情况,发现hiveserver2一直在full gc,然而老年代却一直无法正常回收掉。于是通过jmap dump出堆信息,然后通过mat工具分析堆文件,得到相应的分析报告
jstat查看gc情况
jstat -gcutil 17036 1000
dump文件
jmap -F -dump:format=b,file=hs2_heapdump.hprof-2021-09-15 17036 &
mat工具分析(注意如果内存不够需要加大)
sh ParseHeapDump.sh /var/log/hive/hs2_heapdump.hprof-2021-09-15 org.eclipse.mat.api:suspects org.eclipse.mat.api:overview org.eclipse.mat.api:top_components &
通过mat工具分析之后得到如下3个压缩文件,把这3个压缩文件从服务器拷贝下来在本地解压,然后用浏览器打开查看分析情况
打开hs2_heapdump_Leak_Suspects.zip的解压网页,我们看到如下报告
我们查看详细信息
我们看到是OperationManager类里的queryIdOperation对象导致,该对象是一个ConcurrentHashMap集合,那么就是该集合没有正常移除每次得查询信息导致的,我们到官网查找是否当前有这个解决的patch,通过查找发现刚好有HIVE-22275解决此问题,于是打上该patch进行观察
猜你喜欢
- 2024-10-12 大数据分析工具——hive入门 hive数据分析的一般流程是什么
- 2024-10-12 019Hive基本使用03 019Hive基本使用03 #liaoit
- 2024-10-12 手把手教你搭建Hive环境 搭建hive集群
- 2024-10-12 0474-如何使用SQL Developer访问Hive
- 2024-10-12 大数据之-HIVE入门(十四) php hive大数据处理
- 2024-10-12 Hive 迁移参考方案及测试(下) hive表迁移
- 2024-10-12 0263-Hive2.2.0如何与CDH集群中的Spark1.6集成
- 2024-10-12 如何在HUE上通过oozie调用Hive SQL工作流
- 2024-10-12 百度二面:你做过哪些Hive调优啊? hive调优与参数设置
- 2024-10-12 HiveSQL:如何从给定的日期中减去指定数量的天数?
你 发表评论:
欢迎- 最近发表
- 标签列表
-
- oraclesql优化 (66)
- 类的加载机制 (75)
- feignclient (62)
- 一致性hash算法 (71)
- dockfile (66)
- 锁机制 (57)
- javaresponse (60)
- 查看hive版本 (59)
- phpworkerman (57)
- spark算子 (58)
- vue双向绑定的原理 (68)
- springbootget请求 (58)
- docker网络三种模式 (67)
- spring控制反转 (71)
- data:image/jpeg (69)
- base64 (69)
- java分页 (64)
- kibanadocker (60)
- qabstracttablemodel (62)
- java生成pdf文件 (69)
- deletelater (62)
- com.aspose.words (58)
- android.mk (62)
- qopengl (73)
- epoch_millis (61)
本文暂时没有评论,来添加一个吧(●'◡'●)