<property>
    <name>dfs.datanode.data.dir</name>
<value>file:///dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>

多目录之间用逗号作为分隔符。另外，值得注意的是，每台服务器挂载的磁盘不一定一样，所以没台节点的多目录配置一般是不同的，需要手动的到每台服务器下去配置该项。

二、集群数据均衡

2.1 节点间数据均衡

1）开启数据均衡命令

start-balancer.sh -threshold 10

对于参数10，代表的是急群众各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。

2）停止数据均衡命令

stop-balancer.sh

2.2 磁盘间数据均衡

1）生成均衡计划

hdfs diskbalancer -plan hadoop101

2）执行均衡计划

hdfs diskbalancer -execute hadoop101.plan.json

3）查看当前均衡任务的执行情况

hdfs diskbalancer -query hadoop101

4）取消均衡任务

hdfs diskbalancer -cancel hadoop101.plan.json

切记在集群空闲的时候进行操作，不然的话rpc跨节点网络传输很考费资源，可能造成集群任务长时间获取不到资源而运行失败。

三、配置LZO压缩

1）下载hadoop-lzo开源组件并编译

hadoop本身并不支持lzo压缩，所以需要使用twitter提供的hadoop-lzo开源组件。hadoop-lzo需依赖hadoop和lzo进行编译，编译步骤如下。

0. 环境准备
maven（下载安装，配置环境变量，修改sitting.xml加阿里云镜像）
gcc-c++
zlib-devel
autoconf
automake
libtool
通过yum安装即可，yum -y install gcc-c++ lzo-devel zlib-devel autoconf automake libtool

1. 下载、安装并编译LZO

wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.10.tar.gz

tar -zxvf lzo-2.10.tar.gz

cd lzo-2.10

./configure -prefix=/usr/local/hadoop/lzo/

make

make install

2. 编译hadoop-lzo源码

2.1 下载hadoop-lzo的源码，下载地址：https://github.com/twitter/hadoop-lzo/archive/master.zip
2.2 解压之后，修改pom.xml
<hadoop.current.version>3.1.3</hadoop.current.version>
2.3 声明两个临时环境变量
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include
export LIBRARY_PATH=/usr/local/hadoop/lzo/lib
2.4 编译
进入hadoop-lzo-master，执行maven编译命令
mvn package -Dmaven.test.skip=true
2.5 进入target，hadoop-lzo-0.4.21-SNAPSHOT.jar 即编译成功的hadoop-lzo组件

2）将编译好的hadoop-lzo-0.4.20.jar放入${HADOOP_HOME}/share/common/

3）同步hadoop-lzo-0.4.20.jar到集群中的其他节点

4）core-site.xml增加配置支持LZO压缩

    <property>
        <name>io.compression.codecs</name>
        <value>
            org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec,
            com.hadoop.compression.lzo.LzoCodec,
            com.hadoop.compression.lzo.LzopCodec
        </value>
    </property>

    <property>
        <name>io.compression.codec.lzo.class</name>
        <value>com.hadoop.compression.lzo.LzoCodec</value>
    </property>

5）同步core-site.xml至集群中的其他节点

四、LZO创建索引

1）创建LZO文件的索引，LZO压缩文件的可切片特性依赖于其索引，所以需要手动为LZO压缩文件创建索引。若无索引，则LZO文件的切片只有一个。

hadoop jar /opt/install/hadoop/share/common/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer big_file.lzo

2）测试

（1）将bigtable.lzo（200M）上传到集群的根目录

hdfs dfs -mkdir /input
hdfs dfs -put bigtable.lzo /input

（2）执行wordcount程序

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output1

（3）对上传的LZO文件建索引

hadoop jar /opt/install/hadoop/share/hadoop/common/hadoop-lzo-0.4.20.jar  com.hadoop.compression.lzo.DistributedLzoIndexer /input/bigtable.lzo

（4）再次执行WordCount程序

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar wordcount -Dmapreduce.job.inputformat.class=com.hadoop.mapreduce.LzoTextInputFormat /input /output2

3）注意：如果以上任务，在运行过程中报如下异常

Container [pid=8468,containerID=container_1594198338753_0001_01_000002] is running 318740992B beyond the 'VIRTUAL' memory limit. Current usage: 111.5 MB of 1 GB physical memory used; 2.4 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1594198338753_0001_01_000002 :

解决办法：在hadoop101的/opt/install/hadoopetc/hadoop/yarn-site.xml文件中增加如下配置，然后分发到hadoop102、hadoop103服务器上，并重新启动集群。

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.pmem-check-enabled</name>
   <value>false</value>
</property>

<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true -->
<property>
   <name>yarn.nodemanager.vmem-check-enabled</name>
   <value>false</value>
</property>

五、Hadoop集群基准测试

1）测试HDFS写性能

测试内容：向HDFS集群写10个128M的文件

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

-------------------------------------------------------------------------------------------
2021-08-21 16:24:54,075 INFO fs.TestDFSIO: ----- TestDFSIO ----- : write
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:             Date & time: Sat Aug 21 16:24:54 CST 2021
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:         Number of files: 10
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:       Throughput mb/sec: 7.67
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:  Average IO rate mb/sec: 7.73
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:   IO rate std deviation: 0.67
2021-08-21 16:24:54,075 INFO fs.TestDFSIO:      Test exec time sec: 37.47
2021-08-21 16:24:54,076 INFO fs.TestDFSIO:
-------------------------------------------------------------------------------------------

2）测试HDFS读性能

测试内容：读取HDFS集群10个128M的文件

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

-------------------------------------------------------------------------------------------
2021-08-21 16:28:11,894 INFO fs.TestDFSIO: ----- TestDFSIO ----- : read
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:             Date & time: Sat Aug 21 16:28:11 CST 2021
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:         Number of files: 10
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:  Total MBytes processed: 1280
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:       Throughput mb/sec: 659.11
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:  Average IO rate mb/sec: 750.62
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:   IO rate std deviation: 299.71
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:      Test exec time sec: 17.37
2021-08-21 16:28:11,894 INFO fs.TestDFSIO:
-------------------------------------------------------------------------------------------

3）删除测试生成数据

hadoop jar /opt/inistall/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar TestDFSIO -clean

4）使用Sort程序评测MapReduce

（1）使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar randomwriter random-data

（2）执行Sort程序

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar sort random-data sorted-data

（3）验证数据是否真正排好序了

hadoop jar /opt/install/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-3.2.1-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

六、Hadoop参数调优

6.1 HDFS参数调优hdfs-site.xml

<!--The number of Namenode RPC server threads that listen to requests from clients. If dfs.namenode.servicerpc-address is not configured then Namenode RPC server threads listen to requests from all nodes.
NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。
对于大集群或者有大量客户端的集群来说，通常需要增大参数dfs.namenode.handler.count的默认值10。-->
<property>
    <name>dfs.namenode.handler.count</name>
    <value>10</value>
</property>

dfs.namenode.handler.count=，比如集群规模为8台时，此参数设置为41。可通过简单的python代码计算该值，代码如下。

python
Python 2.7.5 (default, Aug 11 2021, 07:36:10) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import math
>>> print int(20*math.log(8))
41
>>> quit()

6.2 YARN参数调优yarn-site.xml

（1）情景描述：总共7台机器，每天几亿条数据，数据源->Flume->Kafka->HDFS->Hive

面临问题：数据统计主要用HiveSQL，没有数据倾斜，小文件已经做了合并处理，开启的JVM重用，而且IO没有阻塞，内存用了不到50%。但是还是跑的非常慢，而且数据量洪峰过来时，整个集群都会宕掉。基于这种情况有没有优化方案。

（2）解决办法：

内存利用率不够。这个一般是Yarn的2个配置造成的，单个任务可以申请的最大内存大小，和Hadoop单个节点可用内存大小。调节这两个参数能提高系统内存的利用率。

（a）yarn.nodemanager.resource.memory-mb

表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量。

（b）yarn.scheduler.maximum-allocation-mb

单个任务可申请的最多物理内存量，默认是8192（MB）。

以上是关于大数据——Hadoop集群调优的主要内容，如果未能解决你的问题，请参考以下文章

大数据技术之Hadoop（生产调优手册）

尚硅谷大数据技术Hadoop教程-笔记06Hadoop-生产调优手册

尚硅谷大数据Hadoop教程-笔记01入门

尚硅谷大数据Hadoop教程-笔记02HDFS

hadoop 集群调优实践总结

大数据——Hadoop集群调优

一、HDFS多目录存储

1.1 生产环境服务器磁盘情况

1.2 在hdfs-site.xml文件中配置多个目录，需要注意新挂载磁盘的访问权限问题。