Planejamento de implantação de cluster

Perceber:

NameNode e SecondaryNameNode não devem ser instalados no mesmo servidor

ResourceManager também consome muita memória. Não o configure na mesma máquina que NameNode e SecondaryNameNode.

hadoop102

hadoop103

hadoop104

HDFS

NameNode

DataNode

SecondaryNameNode

DataNode

FIO

NodeManager

Gerente de Recursos

NodeManager

Descrição do arquivo de configuração

Existem dois tipos de arquivos de configuração do Hadoop: arquivos de configuração padrão e arquivos de configuração personalizados.Somente quando os usuários desejam modificar um valor de configuração padrão, eles precisam modificar o arquivo de configuração personalizado e alterar o valor do atributo correspondente.

2.1 Arquivo de configuração padrão

arquivo padrão para buscar	O local onde o arquivo está armazenado no pacote jar do Hadoop
[core-default.xml]	hadoop-common-3.1.3.jar/core-default.xml
[hdfs-default.xml]	hadoop-hdfs-3.1.3.jar/hdfs-default.xml
[yarn-default.xml]	hadoop-yarn-common-3.1.3.jar/yarn-default.xml
[mapred-default.xml]	hadoop-mapreduce-client-core-3.1.3.jar/mapred-default.xml

2.2 Arquivos de configuração personalizados

Os quatro arquivos de configuração core-site.xml, hdfs-site.xml, yarn-site.xml e mapred-site.xml são armazenados no caminho $HADOOP_HOME/etc/hadoop e os usuários podem modificar novamente a configuração de acordo com requisitos do projeto.

3. Configure o cluster

3.1 Arquivo de configuração principal

3.1.1 Configurar core-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim core-site.xml

O conteúdo do arquivo é o seguinte:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>

    <!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-3.1.3/data</value>
    </property>

    <!-- 配置HDFS网页登录使用的静态用户为atguigu -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>atguigu</value>
    </property>
</configuration>

3.1.2 Configurar hdfs-site.xml [arquivo de configuração HDFS]

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim hdfs-site.xml

O conteúdo do arquivo é o seguinte:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
</configuration>

3.1.3 Configurar yarn-site.xml [arquivo de configuração do YARN]

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

O conteúdo do arquivo é o seguinte:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

3.1.4 Configurar mapred-site.xml [arquivo de configuração MapReduce]

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

O conteúdo do arquivo é o seguinte:

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

3.1.5 Distribuir os arquivos de configuração do Hadoop configurados no cluster

[atguigu@hadoop102 ~]$ xsync /opt/module/hadoop-3.1.3/etc/hadoop/
# 去103和104上查看文件分发情况
[atguigu@hadoop103 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml
[atguigu@hadoop104 ~]$ cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

3.2 Agrupamento

3.2.1 Configurando trabalhadores

[atguigu@hadoop102 hadoop]$ vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

Adicione o seguinte a este arquivo:

hadoop102
hadoop103
hadoop104

Observação: espaços não são permitidos no final do conteúdo adicionado neste arquivo, e linhas em branco não são permitidas no arquivo.

Sincronize todos os arquivos de configuração do nó:

[atguigu@hadoop102 hadoop]$ xsync /opt/module/hadoop-3.1.3/etc

3.2.2 Iniciar o cluster

(1) Formate o NameNode.

Se o cluster for iniciado pela primeira vez , será necessário formatar o NameNode no nó hadoop102 (Nota: a formatação do NameNode gerará um novo ID de cluster, resultando em IDs de cluster inconsistentes entre NameNode e DataNode, e o cluster não pode encontrar o cluster dados anteriores. Se o cluster estiver em execução Se você precisar reformatar o NameNode, deverá interromper os processos de namenode e datanode primeiro e excluir os diretórios de dados e logs de todas as máquinas antes da formatação.)

[atguigu@hadoop102 hadoop-3.1.3]$ hdfs namenode -format

(2) Iniciar HDFS

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

(3) Inicie o YARN

Inicie o YARN no nó (hadoop103) configurado com ResourceManager

[atguigu@hadoop102 hadoop-3.1.3]$ sbin/start-yarn.sh

3.2.3 Resumo dos métodos de início/parada do cluster

(1) Cada módulo é iniciado/parado separadamente (configurar o ssh é um pré-requisito) comumente usado

HDFS geral de início/parada

start-dfs.sh/stop-dfs.sh

Início/parada geral YARN

start-yarn.sh/stop-yarn.sh

(2) Cada componente de serviço inicia/pára um por um

Iniciar/parar componentes HDFS individualmente

hdfs --daemon start/stop namenode/datanode/secondarynamenode

iniciar/parar YARN

yarn --daemon start/stop resourcemanager/nodemanager

3.3 Escrevendo scripts comuns para clusters Hadoop

3.3.1 Script de inicialização e desligamento do cluster Hadoop (incluindo HDFS, Yarn, Historyserver): myhadoop.sh

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim myhadoop.sh

Digite o seguinte:

#!/bin/bash

if [ $# -lt 1 ]
then
    echo "No Args Input..."
    exit ;
fi

case $1 in
"start")
        echo " ======启动 hadoop集群 ======="
        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
;;
"stop")
        echo " ==========关闭 hadoop集群 ========="
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
    echo "Input Args Error..."
;;
esac

Salve e saia e dê permissão de execução do script

[atguigu@hadoop102 bin]$ chmod +x myhadoop.sh

3.3.2 Visualize os scripts do processo Java dos três servidores: jpsall

[atguigu@hadoop102 ~]$ cd /home/atguigu/bin
[atguigu@hadoop102 bin]$ vim jpsall

Digite o seguinte:

#!/bin/bash

for host in hadoop102 hadoop103 hadoop104
do
        echo =============== $host ===============
        ssh $host jps 
done

Salve e saia e dê permissão de execução do script

[atguigu@hadoop102 bin]$ chmod +x jpsall

Distribua o diretório /home/atguigu/bin para garantir que o script personalizado possa ser usado em todas as três máquinas.

[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/

3.4 URLs comuns

(1) Visualize o NameNode do HDFS no lado da Web

①Entre no navegador: http://hadoop102:9870

② Visualize as informações de dados armazenadas no HDFS

(2) Visualize o ResourceManager do YARN no lado da Web

①Entre no navegador: http://hadoop103:8088

② Verifique as informações do trabalho em execução no YARN

3.3 Configurar servidor de histórico

Para visualizar o funcionamento histórico do programa, você precisa configurar o servidor de histórico. As etapas de configuração específicas são as seguintes:

1) Configurar mapred-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim mapred-site.xml

Adicione a seguinte configuração a este arquivo:

<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

2) Configuração de distribuição

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/mapred-site.xml

3) Inicie o servidor de histórico em hadoop102

[atguigu@hadoop102 hadoop]$ mapred --daemon start historyserver

4) Verifique se o servidor de histórico foi iniciado

[atguigu@hadoop102 hadoop]$ jps

5) Ver histórico de trabalhos

http://hadoop102:19888/jobhistory

3.4 Configurar agregação de log

Conceito de agregação de log: após a execução do aplicativo, as informações de log do programa em execução são carregadas no sistema HDFS.

Benefícios da função de agregação de log: É conveniente visualizar os detalhes da operação do programa, o que é conveniente para desenvolvimento e depuração.

Nota: Para habilitar a função de agregação de log, NodeManager, ResourceManager e HistoryServer precisam ser reiniciados.

As etapas específicas para habilitar a função de agregação de log são as seguintes:

1) Configure yarn-site.xml

[atguigu@hadoop102 ~]$ cd $HADOOP_HOME/etc/hadoop
[atguigu@hadoop102 hadoop]$ vim yarn-site.xml

Adicione a seguinte configuração a este arquivo:

<!-- 开启日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>  
    <name>yarn.log.server.url</name>  
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

2) Configuração de distribuição

[atguigu@hadoop102 hadoop]$ xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

3) Feche NodeManager, ResourceManager e HistoryServer

[atguigu@hadoop103 hadoop-3.1.3]$ sbin/stop-yarn.sh
[atguigu@hadoop102 hadoop-3.1.3]$ mapred --daemon stophistoryserver

4) Inicie NodeManager, ResourceManage e HistoryServer

[atguigu@hadoop103 ~]$ start-yarn.sh
[atguigu@hadoop102 ~]$mapred --daemon start historyserver

5) Exibir registros

Lista de tarefas históricas no endereço histórico do servidor

http://hadoop102:19888/jobhistory

3.5 Descrição dos números de porta comuns

nome da porta	Hadoop2.x	Hadoop3.x
Porta de comunicação interna NameNode	8020 / 9000	8020 / 9000/9820
NameNode HTTP UI	50070	9870
Porta de tarefa de execução de visualização MapReduce	8088	8088
Porta de comunicação do servidor de histórico	19888	19888

3.6 Sincronização de horário do cluster

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；

如果服务器在内网环境，必须要配置集群时间同步，否则时间久了，会产生时间偏差，导致集群执行任务时间不同步。

1）需求

找一个机器，作为时间服务器，所有的机器与这台集群时间进行定时的同步，生产环境根据任务对时间的准确程度要求周期同步。测试环境为了尽快看到效果，采用1分钟同步一次。

2）时间服务器配置（必须root用户）

（1）查看hadoop102服务状态和开机自启动状态（如果开着就关掉）

[atguigu@hadoop102 ~]$ sudo systemctl status ntpd
[atguigu@hadoop102 ~]$ sudo systemctl is-enabled ntpd
# 关闭
[atguigu@hadoop102 ~]$ sudo systemctl disabled ntpd

（2）修改hadoop102的ntp.conf配置文件

[atguigu@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下:

①修改1（授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间）
#restrict192.168.1.0 mask 255.255.255.0 nomodify notrap
====> 将上面的注释去掉（并将192.168.1.0改成192.168.10.0）
restrict 192.168.10.0 mask255.255.255.0 nomodify notrap

 ②修改2（集群在局域网中，不使用其他互联网上的时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst
====> 给上面的内容添加注释
#server0.centos.pool.ntp.org iburst
#server1.centos.pool.ntp.org iburst
#server2.centos.pool.ntp.org iburst
#server3.centos.pool.ntp.org iburst

③添加3（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10

（3）修改hadoop102的/etc/sysconfig/ntpd 文件

[atguigu@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

（4）重新启动ntpd服务

[atguigu@hadoop102 ~]$ sudo systemctl start ntpd

（5）设置ntpd服务开机启动

[atguigu@hadoop102 ~]$ sudo systemctl enable ntpd

3）其他机器配置（必须root用户）

（1）关闭所有节点上ntp服务和自启动

[root@hadoop103 ~]$ systemctl stop ntpd
[root@hadoop103 ~]$ systemctl disable ntpd
 
[root@hadoop104 ~]$ systemctl stop ntpd
[root@hadoop104 ~]$ systemctl disable ntpd

（2）在其他机器配置1分钟与时间服务器同步一次

[root@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

（3）修改任意机器时间

[root@hadoop103 ~]$ date -s "2021-9-1111:11:11"

（4）1分钟后查看机器是否与时间服务器同步

[root@hadoop103 ~]$ date

4. Hadoop常用网址

Web端查看HDFS的NameNode：

http://hadoop102:9870

查看HDFS上存储的数据信息

Web端查看YARN的ResourceManager

http://hadoop103:8088

查看YARN上运行的Job信息

查看JobHistory

http://hadoop102:19888/jobhistory

Hadoop (configuração de cluster) de tecnologia de big data

Planejamento de implantação de cluster

Descrição do arquivo de configuração

2.1 Arquivo de configuração padrão

2.2 Arquivos de configuração personalizados

3. Configure o cluster

3.1 Arquivo de configuração principal

3.1.1 Configurar core-site.xml

3.1.2 Configurar hdfs-site.xml [arquivo de configuração HDFS]

3.1.3 Configurar yarn-site.xml [arquivo de configuração do YARN]

3.1.4 Configurar mapred-site.xml [arquivo de configuração MapReduce]

3.1.5 Distribuir os arquivos de configuração do Hadoop configurados no cluster

3.2 Agrupamento

3.2.1 Configurando trabalhadores

3.2.2 Iniciar o cluster

(1) Formate o NameNode.

(2) Iniciar HDFS

(3) Inicie o YARN

3.2.3 Resumo dos métodos de início/parada do cluster

(1) Cada módulo é iniciado/parado separadamente (configurar o ssh é um pré-requisito) comumente usado

(2) Cada componente de serviço inicia/pára um por um

3.3 Escrevendo scripts comuns para clusters Hadoop

3.3.1 Script de inicialização e desligamento do cluster Hadoop (incluindo HDFS, Yarn, Historyserver): myhadoop.sh

3.3.2 Visualize os scripts do processo Java dos três servidores: jpsall

3.4 URLs comuns

(1) Visualize o NameNode do HDFS no lado da Web

(2) Visualize o ResourceManager do YARN no lado da Web

3.3 Configurar servidor de histórico

1) Configurar mapred-site.xml

2) Configuração de distribuição

3) Inicie o servidor de histórico em hadoop102

4) Verifique se o servidor de histórico foi iniciado

5) Ver histórico de trabalhos

3.4 Configurar agregação de log

1) Configure yarn-site.xml

2) Configuração de distribuição

3) Feche NodeManager, ResourceManager e HistoryServer

4) Inicie NodeManager, ResourceManage e HistoryServer

5) Exibir registros

3.5 Descrição dos números de porta comuns

3.6 Sincronização de horário do cluster

1）需求

2）时间服务器配置（必须root用户）

（1）查看hadoop102服务状态和开机自启动状态（如果开着就关掉）

（2）修改hadoop102的ntp.conf配置文件

（3）修改hadoop102的/etc/sysconfig/ntpd 文件

（4）重新启动ntpd服务

（5）设置ntpd服务开机启动

3）其他机器配置（必须root用户）

（1）关闭所有节点上ntp服务和自启动

（2）在其他机器配置1分钟与时间服务器同步一次

（3）修改任意机器时间

（4）1分钟后查看机器是否与时间服务器同步

4. Hadoop常用网址

Acho que você gosta