Yarn-HDFS の読み取りおよび書き込みテスト

HDFS の読み取りおよび書き込みテスト

1.hdfsライティ​​ングテスト

yarn jar /usr/local/service/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5.jar  TestDFSIO -write -nrFiles 10 -size 100MB

パラメータの説明:
-write: テスト書き込み
-nrFiles 10: 10 個のファイルを書き込みます
-size 10MB: ファイルごとに 10MB
– 生成されたテスト データを表示します
hdfs dfs -ls /benchmarks/TestDFSIO/io_data

2.hdfs読み取りテスト

yarn jar /usr/local/service/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.8.5.jar  TestDFSIO -read -nrFiles 10 -size 1MB