TestDFSIO性能测试工具使用方法

Posted Erik_ly

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了TestDFSIO性能测试工具使用方法相关的知识，希望对你有一定的参考价值。

文章目录


本文主要介绍 HDFS 性能测试工具的功能、参数说明、读写性能测试使用方法及结果分析。

简介

TestDFSIO是Hadoop系统自带的基准测试组件，用于测试Hadoop文件系统通过MapReduce方式处理作业的IO 属性。TestDFSIO调用一个MapReduce作业来并发地执行读写操作，每个map任务用于读或写每个文件，reduce 用于累积统计信息，并产生统计总结。

源码地址

hadoop/TestDFSIO.java at trunk · apache/hadoop
https://github.com/apache/hadoop/blob/trunk/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/src/test/java/org/apache/hadoop/fs/TestDFSIO.java

参数解析

[root@manager ~]# hadoop jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO
20/11/04 19:31:31 INFO fs.TestDFSIO: TestDFSIO.1.8
Missing arguments.
Usage: TestDFSIO [genericOptions] -read [-random | -backward | -skip [-skipSize Size]] | -write | -append | -truncate | -clean [-compression codecClassName] [-nrFiles N] [-size Size[B|KB|MB|GB|TB]] [-resFile resultFileName] [-bufferSize Bytes] [-storagePolicy storagePolicyName] [-erasureCodePolicy erasureCodePolicyName]
  • read：读测试，对每个文件读-size指定的字节数
  • write：写测试，对每个文件写-size指定的字节数
  • append：追加测试，对每个文件追加-size指定的字节数
  • truncate：截断测试，对每个文件截断至-size指定的字节数
  • clean：清除TestDFSIO在HDFS上生成数据
  • n：文件个数
  • size：每个文件的大小，必须加单位，单位可为B、KB、MB、GB、TB
  • resFile：生成测试报告的本地文件路径，多次测试可使用同一个文件，结果会追加
  • bufferSize：每个mapper任务读写文件所用到的缓存区大小，默认为1000000字节。

测试步骤

清理缓存

在每个DataNode节点执行

sync
echo 3 > /proc/sys/vm/drop_caches

这里主要是清理cache/buffer，可以通过free -h命令查看。缓存（cached）是把读取过的数据保存起来，重新读取时若命中（找到需要的数据）就不要去读硬盘了，若没有命中就读硬盘。缓冲（buffers）是根据磁盘的读写设计的，把分散的写操作集中进行，减少磁盘碎片和硬盘的反复寻道，从而提高系统性能。

sync是将cache/buffer持久化至磁盘
echo 3 > /proc/sys/vm/drop_caches是清理cache/buffer区。

清除测试数据

以下命令均使用hdfs用户执行

su hdfs
hadoop jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -clean

写文件测试

写10个100M的文件

hadoop jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles 10 -size 100MB -resFile /tmp/DFSIO-write.out

查看结果

cat /tmp/DFSIO-write.out
----- TestDFSIO ----- : write
            Date & time: Tue Sep 29 16:36:44 CST 2020
        Number of files: 10
 Total MBytes processed: 1000
      Throughput mb/sec: 1.56
 Average IO rate mb/sec: 3.33
  IO rate std deviation: 3.67
     Test exec time sec: 290.91

结果解析：

  • Date & time：结果输出时间；
  • Number of files：文件数量，本次执写10个文件，也是task数量，即任务数；
  • Total MBytes processed：总共处理的文件大小，即数据总量，以MB为单位，因为本次写10个文件，每个文件100M，所以这里是10*100=1000；
  • Throughput mb/sec：吞吐量，以MB/s为单位，计算方法是：（数据总量）/（每个map任务实际写入数据的执行时间之和）；
  • Average IO rate mb/sec：平均IO速率，单位MB/s，计算方法是：（每个map需要写入的数据量/每个map任务实际写入数据的执行时间）之和/任务数；
  • IO rate std deviation：IO速率标准差；
  • Test exec time sec：测试执行时间，单位：s。

查看数据

hadoop fs -du -h /benchmarks/TestDFSIO/io_data

读文件测试

执行读测试时，首先需要有文件，因此可在写文件测试之后执行相应的读文件测试，这里读取10个文件，每个文件100M。

hadoop jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -read -nrFiles 10 -size 100MB -resFile /tmp/DFSIO-read.out

查看结果

cat /tmp/DFSIO-read.out
----- TestDFSIO ----- : read
            Date & time: Tue Sep 29 16:41:20 CST 2020
        Number of files: 10
 Total MBytes processed: 1000
      Throughput mb/sec: 376.51
 Average IO rate mb/sec: 644.25
  IO rate std deviation: 445.27
     Test exec time sec: 135.63

清除测试数据

hadoop jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -clean

执行脚本

为了方便测试，可使用脚本执行，如下是执行数据文件数分别为10个、100个、1000个和10000个，每个文件为128M的读写测试，且执行三遍，这样可以求取平均值，更准确。

#/bin/bash

# jar 包路径
hdf_test_jar_home=/usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar

# 文件数量
file_num=(10 100 1000 10000)

# 每个文件的大小
file_size=128MB

echo "====================Start execute HDFS I/O test ======================"
for i in 1..3
do

	for num in $file_num[*]
		do
		
			# 清除数据
			echo "Start clean data ... " 
			hadoop jar $hdf_test_jar_home TestDFSIO -clean

			# 写性能测试
			echo "====================Start execute write test, ' $i ' time, file_num:' $num ', file_size:' $file_size '===================="
			hadoop jar $hdf_test_jar_home TestDFSIO -write -nrFiles $num -fileSize $file_size -resFile /tmp/DFSIO-write.out
			
			# 读性能测试
			echo "Start execute read test, ' $i ' time, file_num:' $num ', file_size:' $file_size' "
			hadoop jar $hdf_test_jar_home TestDFSIO -read -nrFiles $num -fileSize $file_size -resFile /tmp/DFSIO-read.out
			
			# 睡眠10s
			sleep 10
		done
done

参考资料

[Hadoop] 使用DFSIO测试集群I/O性能_mryqu_新浪博客
http://blog.sina.com.cn/s/blog_72ef7bea0102vr44.html

linux下的缓存机制buffer、cache、swap - 运维总结 - 散尽浮华 - 博客园
https://www.cnblogs.com/kevingrace/p/5991604.html

TestDFSIO基准测试方法介绍_湖南频道_凤凰网
http://hunan.ifeng.com/a/20190613/7496675_0.shtml

注：本文首发于个人博客网站： http://www.erik-ly.com/

以上是关于TestDFSIO性能测试工具使用方法的主要内容，如果未能解决你的问题，请参考以下文章

TestDFSIO性能测试工具使用方法

TestDFSIO性能测试工具使用方法

hdfs读写性能测试

hadoop性能测试

hadoop自带性能测试

hadoop 基准测试的最佳实践是啥？