hdfs读写性能测试

Posted 2023-03-19 健忘主义

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了hdfs读写性能测试相关的知识，希望对你有一定的参考价值。

HDFS的IO吞吐性能可以通过TestDFSIO进行测试。TestDFSIO是一个分布式任务，存在任务调度及结果汇总阶段，计算集群吞吐均值时会略低于HDFS吞吐限速。在进行顺序读与随机读的测试之前需要确保HDFS之上已有指定的待测数据，如果没有待测数据请使用顺序写命令生成。以下是一些测试命令

顺序写：hadoop jar hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100MB
顺序读：hadoop jar hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 100MB
随机写：hadoop jar hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100MB -random
随机读：hadoop jar hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 100MB -random

-nrFiles表示文件数量，-fileSize表示文件大小，-random表示随机读写

以上是关于hdfs读写性能测试的主要内容，如果未能解决你的问题，请参考以下文章