Hadoop [Lección 6]: pruebas de rendimiento de Hadoop

1.TestDFSIO

Ingrese el directorio donde se encuentra el paquete Jar:

# cd /usr/local/src/hadoop/hadoop-2.7.7/share/hadoop/mapreduce/

# ls

Inserte la descripción de la imagen aquí

(1) Escribir

Escriba 5 archivos de 128 MB en HDFS

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7.jar TestDFSIO -write -nrFiles 5 -fileSize 128MB

Inserte la descripción de la imagen aquí

(2) Leer

Leer 5 archivos de 128 MB de HDFS

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7.jar TestDFSIO -read -nrFiles 5 -fileSize 128MB

Inserte la descripción de la imagen aquí

(3) Ver

# cat TestDFSIO_results.log

Inserte la descripción de la imagen aquí

(4) Claro

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7.jar TestDFSIO -clean

Inserte la descripción de la imagen aquí

2.mrbench

Utilice 3 mapeadores y 3 reductores para ejecutar un trabajo pequeño 5 veces, generar 5 filas de entrada, ordenar en orden descendente

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7-tests.jar mrbench -numRuns 5 -maps 3 -reduces 3 -inputLines 5 -inputType descending

[Trabajo 1]
Inserte la descripción de la imagen aquí
Inserte la descripción de la imagen aquí
[Trabajo 2]
Inserte la descripción de la imagen aquí
Inserte la descripción de la imagen aquí
[Trabajo 3]
Inserte la descripción de la imagen aquí
[Trabajo 4]
Inserte la descripción de la imagen aquí
[Trabajo 5]
Inserte la descripción de la imagen aquí
[Resultados de la operación]
Inserte la descripción de la imagen aquí

3.nnbench

Utilice 3 mapeadores y 3 reductores para crear 5 archivos

# hadoop jar hadoop-mapreduce-client-jobclient-2.7.7-tests.jar nnbench -operation create_write -maps 3 -reduces 3 -numberOfFiles 5 -replicationFactorPerFile 3 -readFileAfterOpen true

Inserte la descripción de la imagen aquí
Inserte la descripción de la imagen aquí
Inserte la descripción de la imagen aquí

Supongo que te gusta

Origin blog.csdn.net/qq_41315788/article/details/109273059
Recomendado
Clasificación