七Hadoop学习笔记————调优之Hadoop参数调优
Posted liuxiaopang
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了七Hadoop学习笔记————调优之Hadoop参数调优相关的知识，希望对你有一定的参考价值。
dfs.datanode.handler.count默认为3，大集群可以调整为10
传统MapReduce和yarn对比
如果服务器物理内存128G，则容器内存建议为100比较合理
配置总量时考虑系统调优块，双路四核2*4*2=16g，则总量设置为10到12比较合适，需要预留空间给其他服务器
需要给master分配足够资源，并且分配受限于yarn
hadoop调优需要不断尝试，没有固定的套路
以上是关于七Hadoop学习笔记————调优之Hadoop参数调优的主要内容，如果未能解决你的问题，请参考以下文章
尚硅谷大数据技术Hadoop教程-笔记06Hadoop-生产调优手册