hive原理和调优
Posted hongfeng2019
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hive原理和调优相关的知识，希望对你有一定的参考价值。
参考:
hive参数:
https://www.cnblogs.com/yinzhengjie/articles/11065409.html
hive-site.xml
hive.async.log.enabled false #控制beeline跑时是否输出执行日志,默认是true
hive:
hive.exec.parallel.thread.number 50
hive.exec.reducers.bytes.per.reducer
该参数在0.14.0之前默认为1,000,000,000（约1GB），在0.14.0及以后默 认为256,000,000（约256MB）。该参数控制每个reducer平均处理的字节 数，默认值不一定适合所有的情况，应该根据企业内Hive作业通常处理的 数据量、集群节点数等参数来酌情配置
hive.exec.dynamic.partition
hive.exec.reducers.max 250
hive.server2.thrift.max.worker.threads 5000
以上是关于hive原理和调优的主要内容，如果未能解决你的问题，请参考以下文章