Hadoop之小文件处理与调优经验

Posted 石下萌芽

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop之小文件处理与调优经验相关的知识,希望对你有一定的参考价值。

HDFS上每个文件都要在namenode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用namenode的内存空间,另一方面就是索引文件过大是的索引速度变慢。
 
解决的方式:
  1:Hadoop本身提供了一些文件压缩的方案
 
  2:从系统层面改变现有HDFS存在的问题,其实主要还是小文件的合并,然后建立比较快速的索引。
 
Hadoop自带小文件解决方案
1:Hadoop Archive:
     是一个高效地将小文件放入HDFS块中的文件存档工具,它能够将多个小文件打包成一个HAR文件,这样在减
     少namenode内存使用的同时。
2:Sequence file:
     sequence file由一系列的二进制key/value组成,如果为key小文件名,value为文件内容,则可以将大批
     小文件合并成一个大文件。
3:CombineFileInputFormat:
     CombineFileInputFormat是一种新的inputformat,用于将多个文件合并成一个单独的split,另外,它会
     考虑数据的存储位置。
 
小文件优化(实战经验)
 
开启Jvm重用对Job影响:hadoop集群机器配置:三台Ubnutu虚拟机,内存512M
 
文件数 文件大小 JVM重用 耗时 Jobid
4815 7.54 GB Y 32mins, 5sec job_201206161018_0004
4815 7.54 GB N 58mins, 49sec job_201206161018_0014
 
结论:对于大量小文件Job,开启JVM重用减少45%运行时间
一个map运行一个jvm,重用的话,在一个map在jvm上运行完毕后,jvm继续运行其他jvm
 
参数mapred.reduce.parallel.copies
 
任务时间 mapred.reduce.parallel.copies
54mins, 21sec 5(默认值)
48mins, 30sec 20
 
通过配置参数mapred.reduce.parallel.copies可以提升12%性能
 
优化项 优化方法 可以减少Job时间
Jvm重用 开启jvm重用 45%
mapred.reduce.parallel.copies 默认值为5,优化值20 12%
 
解释mapred.reduce.parallel.copies:
Reduce task在做shuffle时,实际上就是从不同的已经完成的map上去下载属于自己这个reduce的部分数据,
由于map通常有许多个,所以对一个reduce来说,下载也可以是并行的从多个map下载,这个并行度是可以调
整的,调整参数为:mapred.reduce.parallel.copies(default 5)。默认情况下,每个只会有5个并行的下
载线程在从map下数据,如果一个时间段内job完成的map有100个或者更多,那么reduce也最多只能 同时下载
5个map的数据,所以这个参数比较适合map很多并且完成的比较快的job的情况下调大,有利于reduce更快的
获取属于自己部分的数据。
 
 

以上是关于Hadoop之小文件处理与调优经验的主要内容,如果未能解决你的问题,请参考以下文章

hive优化之小文件合并

Linux网络包接收过程的监控与调优

MYSQL企业常用架构与调优经验分享

MYSQL企业常用架构与调优经验分享

Linux系统性能与调优(未完)

Hadoop 中的小文件与随机播放时间 - 调优