Hadoop优化配置

Posted 打怪up

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop优化配置相关的知识,希望对你有一定的参考价值。

1、数据输入小文件处理:

(1)合并小文件:对小文件进行归档、自定义 inputformat 将小文件存储成sequenceFile 文件。

 

SequenceFile:https://blog.csdn.net/en_joker/article/details/79648861

(2)采用 ConbinFileInputFormat 来作为输入,解决输入端大量小文件场景。

(3)对于大量小文件 Job,可以开启 JVM 重用。

2、map阶段:

(1)增大环形缓冲区大小。由 100M扩大到 200M。

(2)增大环形缓冲区溢写的比例。由 80%扩大到 90%

(3)减少对溢写文件的 merge 合并次数。

(4)不影响实际业务的前提下,采用 combiner 提前合并,减少 I/O。

3、reduce 阶段:

(1)合理设置 map 和 reduce 数:两个都不能设置太少,也不能设置太多。太少,会导致 task 等待,延长处理时间;太多,会导致 map、reduce 任务间竞争资源,造成处理超时等错误。

(2)设置 map、reduce 共存:调整 slowstart.completedmaps 参数,使 map 运行到一定程度后,reduce 也开始运行,减少 reduce 的等待时间。

(3)规避使用 reduce,因为 Reduce 在用于连接数据集的时候将会产生大量的网络消耗。

(4)增加每个 reduce 去 map 中拿数据的并行数。

(5)集群性能可以的前提下,增大 reduce 端存储数据内存的大小。

4、IO 传输:

(1)采用数据压缩的方式,减少网络 IO 的时间。安装 Snappy 和 LZOP 压缩编码器。

(2)使用 SequenceFile 二进制文件。

5 、整体

(1)MapTask 默认内存大小为 1G,可以增加 MapTask 内存大小为 4-5g 。

(2)ReduceTask 默认内存大小为 1G,可以增加 ReduceTask 内存大小为 4-5g 。

(3)可以增加 MapTask 的 cpu 核数,增加 ReduceTask 的 cpu 核数 。

(4)增加每个 container 的 cpu 核数和内存大小 。

(5)调整每个 Map Task 和 Reduce Task 最大重试次数 。

以上是关于Hadoop优化配置的主要内容,如果未能解决你的问题,请参考以下文章

[Hadoop]万字长文Hadoop相关优化和问题排查总结

hive: 优化配置

Hive部署及优化配置

hadoop 调优措施 调优参数

hadoop进阶---hadoop性能优化---hdfs空间不足的管理优化

Hadoop实战:Hadoop分布式集群部署