EMR问题

Posted 2021-03-21 hongfeng2019

参考:

https://dbaplus.cn/news-11-1983-1.html

 

 

1/连接参数

 

 

hive.server2.thrift.min.worker.threads  5 

hive.server2.thrift.max.worker.threads    150

在emr中hive-hiveserver2-site中自定义添加

 

 

 2/ hive.driver.parallel.compilation参数默认为false，导致HS2只允许同时一个Query编译， 有操作元数据比较多的查询编译读取元数据会比较慢，全局锁会卡住所有其他查询。 需要设置为true，打开允许多个Query同时编译。

 

 

hive-site:

hive.driver.parallel.compilation 这个参数可以设置为true

 

hive&hue优化

1、hue配置文件,修改max_number_of_sessions值大小,修改为10
[beeswax]
max_number_of_sessions=10
2、hue
hue的server_conn_timeout调大点
hive:
1、自定义hive配置中,增加这个属性:
hive.server2.parallel.ops.in.session=true
2、hive
将hiveserver2和mestatore的堆大小调大一些

 

3/ 字符集问题见mysql

4/ 队列问题见emr fair-scheduler