CDH HiveServer2异常退出
Posted fansy1990
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了CDH HiveServer2异常退出相关的知识,希望对你有一定的参考价值。
本篇参考:
http://blog.csdn.net/gklifg/article/details/50418109、http://blog.csdn.net/levy_cui/article/details/53992402、http://blog.csdn.net/lulynn/article/details/46455097。
在使用CDH集群的过程中,出现HiveServer2刚启动没多久,客户端访问之后就被异常终止了的问题。
1. 问题过程分析:
参考上面三篇博客,使用jstat进行监控,出现如下提示:
红色框的时候,hiveserver2就被杀死了;
同时在CDH监控中,提示outofmemory:
2. 问题暂时解决:
出现这里的提示,说明内存不足,把内存加大,调整内容如下:
原配置如下:
这个时候再次使用jstat监控,可以发现:
从上面的数据可以看到:
1. 内存会在S0和S1之间切换,第一次Hiveserver2退出的时候,发现S0和S1都是100% ,同时执行了很多次Full GC,导致内存溢出;
2. 当调整参数后,新生代GC也没有那么频繁,而且每次YGC后,E区使用占比就会减少;
3. O区占用一直在增大,当发生一次Full GC时,O区可能会被清除很多数据,所以占比会减小;
分享,成长,快乐
脚踏实地,专注
转载请注明blog地址:http://blog.csdn.net/fansy1990
以上是关于CDH HiveServer2异常退出的主要内容,如果未能解决你的问题,请参考以下文章
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
CDH/CDP中开启kerberos后如何访问HDFS/YARN/HIVESERVER2 等服务的webui
CDH大数据平台 所有 HiveServer2 角色必须在相同的主机上有一个 Spark 角色(如 Gateway)以接收 Spark 配置。在角色正常运行前,您必须部署 Spark 客户端配置