Después de la guía del artículo anterior, creo que los amigos ya pueden hacer las siguientes operaciones.
Directorio
En primer lugar, necesitamos saber para archivo de configuración de clúster pseudo-distribuido de configuración para modificar
los archivos de configuración están /opt/module/hadoop-2.7.2/etc/hadoop/dentro de
- 1. archivos de configuración HDFS
| Número de serie | Nombre de archivo |
|---|---|
| 01 | hadoop-env.sh |
| 02 | core-site.xml |
| 03 | hdfs-site.xml |
- 2. archivos de configuración HILAR
| Número de serie | Nombre de archivo |
|---|---|
| 01 | yarn-env.sh |
| 02 | yarn-site.xml |
| 03 | mapred-env.sh |
- 3. Configure el servidor de historial
| Número de serie | Nombre de archivo |
|---|---|
| 01 | mapred-site.xml |
- 4. Configurar la agregación de registros
| Número de serie | Nombre de archivo |
|---|---|
| 01 | yarn-site.xml |
1. Inicie HDFS
1. Configure el clúster
- 1. Configuración: hadoop-env.sh
① Obtenga la ruta de instalación de JDK en el sistema Linux (si puede recordar la ruta puede omitirse):
[bigdata@hadoop001 ~]$ echo $JAVA_HOME
/opt/module/jdk1.8.0_144
Lo siguiente necesita modificar la ruta JAVA_HOME:
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 2. Colocación: core-site.xml
[bigdata@hadoop001 hadoop]$ vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop001:9000</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>
- 3. hdfs-site.xml
[bigdata@hadoop001 hadoop]$ vim hdfs-site.xml
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
2. Inicie el clúster
- 1)Nombre de formato Nodo(Formatee para el primer arranque, no siempre lo formatee después)
[bigdata@hadoop001 hadoop-2.7.2]$ bin/hdfs namenode -format
Igual que el anterior es correcto.
- 2. Inicie NaneNode y DataNode respectivamente
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
3. Ver el clúster
- 1. Compruebe si el inicio es exitoso
- Nota: jps es un comando en el JDK, no un comando de Linux. No se puede usar jps sin instalar JDK
- 2. Vea el sistema de archivos HDFS en la web
http: // hadoop001: 50070 / dfshealth.html # tab-overview
- 3. Ver registros de registro
Cuando encuentre errores en la vida diaria, a menudo analice problemas y resuelva errores de acuerdo con las indicaciones del registro.
Directorio actual: /opt/module/hadoop-2.7.2/logs
[bigdata@hadoop001 logs]$ ll
# 下面的为日志文件
总用量 220
-rw-rw-r--. 1 bigdata bigdata 82138 4月 21 02:38 hadoop-bigdata-datanode-hadoop001.log
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:38 hadoop-bigdata-datanode-hadoop001.out
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:28 hadoop-bigdata-datanode-hadoop001.out.1
-rw-rw-r--. 1 bigdata bigdata 111269 4月 21 02:38 hadoop-bigdata-namenode-hadoop001.log
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:38 hadoop-bigdata-namenode-hadoop001.out
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:36 hadoop-bigdata-namenode-hadoop001.out.1
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:30 hadoop-bigdata-namenode-hadoop001.out.2
-rw-rw-r--. 1 bigdata bigdata 719 4月 21 02:28 hadoop-bigdata-namenode-hadoop001.out.3
-rw-rw-r--. 1 bigdata bigdata 0 4月 21 02:28 SecurityAuth-bigdata.audit
[bigdata@hadoop001 logs]$ cat hadoop-bigdata-datanode-hadoop001.log
2. Comience a HILAR
1. Configure el clúster
- 1. Configure yarn-env.sh para
modificar JAVA_HOME
[bigdata@hadoop001 hadoop]$ vim yarn-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 2. Colocación yarn-site.xml
[bigdata@hadoop001 hadoop]$ yarn-site.xml
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.resource.cpu-vcores</name>
<value>2</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop001</value>
</property>
- 3. Configuración: mapred-env.sh
modificar JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
- 4. Configuración: (Cambiar nombre de mapred-site.xml.template a) mapred-site.xml
[bigdata@hadoop001 hadoop]$ mv mapred-site.xml.template mapred-site.xml
[bigdata@hadoop001 hadoop]$ vim mapred-site.xml
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
2. Inicie el clúster
- 1. Asegúrese de que NameNode y DataNode se hayan iniciado antes de comenzar
- 2. Inicie ResourceManager y NodeManager respectivamente
# 启动服务
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-resourcemanager-hadoop001.out
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-nodemanager-hadoop001.out
# 查看是否启动成功
[bigdata@hadoop001 hadoop-2.7.2]$ jps
3414 DataNode
3993 ResourceManager
3722 NodeManager
3327 NameNode
4159 Jps
3. Ver en la web
Ver en la página del navegador de YARN: http: // hadoop001: 8088 / cluster
3. Configure el servidor de historial
Si desea ver el historial del programa, debe configurar el servidor de historial. Los pasos de configuración específicos son los siguientes:
1. Implementación mapred-site.xml
[bigdata@hadoop001 hadoop]$ vim mapred-site.xml
# 在该文件里面增加如下配置。
<!-- 历史服务器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop001:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop001:19888</value>
</property>
2. Inicie el servidor de historial
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
3. Compruebe si se inició el servidor de historial
[bigdata@hadoop001 hadoop-2.7.2]$ jps
4304 JobHistoryServer
26210 Jps
3414 DataNode
3993 ResourceManager
3327 NameNode
4495 NodeManager
4. Compruebe si el servidor de historial se inició en la web
http: // hadoop001: 19888 / jobhistory
4. Configurar la agregación de registros
Concepto de agregación de registros: una vez completada la aplicación, cargue la información de registro de operación del programa en el sistema HDFS.
Beneficios de la función de agregación de registros: puede ver fácilmente los detalles de la operación del programa, lo cual es conveniente para el desarrollo y la depuración.
Nota: Para habilitar la función de agregación de registros, debe reiniciar NodeManager, ResourceManager e HistoryManager.
Los siguientes son los pasos específicos para habilitar la función de agregación de registros:
1. Colocación yarn-site.xml
[bigdata@hadoop001 hadoop]$ vim yarn-site.xml
# 在该文件里面增加如下配置。
<!-- 日志聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
2. Cierre NodeManager, ResourceManager e HistoryServer
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop resourcemanager
stopping resourcemanager
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh stop historyserver
stopping historyserver
3. Inicie NodeManager, ResourceManager e HistoryServer
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start resourcemanager
starting resourcemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-resourcemanager-hadoop001.out
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-bigdata-nodemanager-hadoop001.out
[bigdata@hadoop001 hadoop-2.7.2]$ sbin/mr-jobhistory-daemon.sh start historyserver
starting historyserver, logging to /opt/module/hadoop-2.7.2/logs/mapred-bigdata-historyserver-hadoop001.out
4. Elimine el archivo de salida que ya existe en HDFS (no puede ejecutar este paso si no se está ejecutando)
[bigdata@hadoop001 hadoop-2.7.2]$ bin/hdfs dfs -rm -R /user/bigdata/output
5. Ejecute el programa WordCount
# 如果没有input 可先创建
[bigdata@hadoop001 hadoop-2.7.2]$ bin/hdfs dfs -mkdir -p /user/bigdata/input
# 运行程序
[bigdata@hadoop001 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/bigdata/input /user/bigdata/output
6. Ver registros
http: // hadoop001: 19888 / jobhistory
- 1. Historial laboral
- 2. Estado de ejecución del trabajo
- 3. Ver registros
Queridos amigos, si creen que pueden aprender algo, por favor, denle me gusta antes de irse. Bienvenidos a los comentarios de los hermanos mayores que pasan, corrija los errores y den la bienvenida a los amigos que tienen problemas para dejar comentarios y mensajes privados. ¡La atención de cada pequeño amigo es mi motivación para actualizar mi blog! ! !
