hadoop的参数调优
Posted 大数据码农
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hadoop的参数调优相关的知识，希望对你有一定的参考价值。
1，在hdfs-site.xml 中配置多目录，提前配置好，以免以后要配置时，需要重启集群。
2，namenode 有一个工作线程池，用来处理不同的datanode的并发心跳和客户端访问并发请求。配置dfs.namenode.handler.count=20 * log2(Cluster Size)，比如集群为10台，可以设置为60。
3，把编辑日志存储路径和镜像文件存储路径分开，达到最低写入延迟。
4，可以调整NM最大的物理内存量，默认8G，可以调大；如果你的物理内存不足8G，则需要调小，因为NM不会探测你的物理内存。
5，可以调大单个任务获取的最大内存，默认8G，可以调大。
以上是关于hadoop的参数调优的主要内容，如果未能解决你的问题，请参考以下文章