kylin: build cube Hbase: Region Server 意外退出

Posted 2021-10-17 格格巫 MMQ!!

背景
跑kylin 的 build cube 任务，总是在跑任务（数据量200M）的时候挂掉，各种调节yarn的参数都不行。

在这里插入图片描述
关键跑的时候还没涉及到hbase,因为我跑的是kylin on druid，但是总是跑着跑着，直接ERROR，查看hbase发现。

不良 : 该角色在之前的 3 分钟 中遇到 1 次意外退出。这包括由于 OutOfMemory 错误而导致的 1 退出。 临界阈值：任意。

1
2
然后死掉

在这里插入图片描述
在这里插入图片描述

页面上还有这个错

Java HotSpot™ 64-Bit Server VM warning: MaxNewSize (262144k) is equal to or greater than the entire heap (51200k). A new max generation size of 51136k will be used.
1
查看Hbase页面 http://ip:60010/master-status
在这里插入图片描述

在这里插入图片描述
后来查看启动的程序

$ sudo ps -ef |grep regionserver
hbase 14077
/opt/third/jdk/bin/java -Dproc_regionserver
-XX:OnOutOfMemoryError=kill -9 %p # z这里的意思是超过限制的内存，就杀死这个任务，而我们正好报错 OutOfMemory
-Djava.net.preferIPv4Stack=true
-Xms268435456 -Xmx268435456 # 那个字段限制？
-Xmx256m -Xms256m
-XX:MaxNewSi