hadoop性能测试TestDFSIO

2024年1月9日 536次阅读 来源: WJXZ
1.测试工具

hadoop自带的TestDFSIO

2.命令

(1)写

sudo -u hdfs hadoop jar hadoop-test-2.6.0-mr1-cdh5.14.0.jar TestDFSIO -write -nrFiles 2 -fileSize 512  -bufferSize 1000000  -resFile  /tmp/TestDFSIOresults.txt

(2)读

sudo -u hdfs hadoop jar hadoop-test-2.6.0-mr1-cdh5.14.0.jar TestDFSIO -read -nrFiles 2 -fileSize 512  -bufferSize 1000000  -resFile  /tmp/TestDFSIOresults.txt

(3)清除

sudo -u hdfs hadoop jar hadoop-test-2.6.0-mr1-cdh5.14.0.jar TestDFSIO -clean
3找到你的hadoop的jars
cd /opt/cloudera/parcels/CDH/jars/
ls | grep hadoop-test
jar包所在目录下执行读写清空命令
进行测试
    原文作者：WJXZ
    原文地址: https://www.jianshu.com/p/80166766f648
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞