黑猴子的家：HBase 之HRegionserver挂死，日志出现Session Expired异常排查

Posted 2023-02-26

参考技术A

加大zookeeper会话超时时间，编辑hbase-site.xml文件，添加下面的属性

使用top命令查看regionserver是否有充足的cpu资源，mapreduce会占用很多cpu，可以减少mapreduce任务数

使用vmstat 1 命令查看si so两个swap列，确认没有发生交换，1代表每秒打印一次

使用jstat -gcutil pid 1000 查看fgct列，确认regionserver没有发生长时间gc暂停，如果gc时间超过zookeeper的连接最大超时时间则会导致hbase挂掉

hbase中和GC相关的参数

修改后

RegionServer 由于 ZooKeeper session expired 而退出，头疼了很久，总结可能的原因：

zookeeper的maxSessionTimeout默认值导致hbase regionserver超时
在hbase中经常会遇到regionserver挂掉的情况，查看日志会看到这样的错误信息

说明与zookeeper的连接的session超时了，可是在hbase-site.xml中设置了zookeeper的超时时间为2分钟，原来
zookeeper中自带两个参数设置了session的超时时间，在启动时日志中会显示

而minSessionTimeout 和maxSessionTimeout 是用下面的方式算出来的
Session

Session 默认情况，tickTime=2sec，那么minSessionTimeout 和 maxSessionTimeout 分别是4sec和40sec

所以在hbase中设置超时时间是没用的，必须修改zookeeper自身的maxSessionTimeout为120000，才能真正起到加长zookeeper的session超时时间的作用