Pseudo Lesson5 Hadoop histórico de distribuição de configuração do modo de servidor, arquivos e instruções poliméricos configuração de registo

Primeiro, a história configuração do servidor:

1. colocado mapred-site.xml:

<!--历史服务器端地址-->
<property> 
	<name>mapreduce.jobhistory.address</name>
	<value>node1:10020</value> 
</property>

<!--历史服务器Web端地址-->
<property> 
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>192.168.122.1:19888</value> 
</property>

 O nome do host alterado para node1

 A mudança de endereço 192.168.122.1 IP dentro da rede, digite ifconfig para ver

 Depois de se completar a adição ao perfil 

2. Iniciar o servidor história: Digite o seguinte comando para iniciar o histórico de serviço

sbin/mr-jobhistory-daemon.sh start historyserver

  Digite JPS pode ver que o serviço está ligado

  

3. Reveja o servidor história: a entrada direta http: // nodeb1: 19888 / jobhistory Ver

 Para uma execução completa do programa, você pode clicar na visão de História

 

Em segundo lugar, a agregação de log: 

1. Introdução: 

conceito de agregação de log: Após a conclusão da aplicação está em execução, o programa será executado informações de log enviados para HDFS.

benefícios de agregação de log: Você pode facilmente visualizar os detalhes de execução, desenvolvimento fácil e depuração.

Nota: Ativar a função de agregação de log, você precisa reiniciar NodeManager, ResourceManager e HistoryManager.

2. Configure fio-site.xml: Adicione a seguinte

<!--日志聚合功能使能-->
<property> 
	<name>yarn.log-aggregation-enable</name>
	<value>true</value> 
</property>

<!--日志保留时间设置为七天-->
<property> 
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value> 
</property>

3. Reinicie o serviço:

 Fechar Serviço

sbin/mr-jobhistory-daemon.sh stop historyserver

sbin/yarn-daemon.sh stop nodemanager

sbin/yarn-daemon.sh stop resourcemanager

 Serviço início

sbin/yarn-daemon.sh start nodemanager

sbin/yarn-daemon.sh start resourcemanager

sbin/mr-jobhistory-daemon.sh start historyserver

WordCount re-executar o programa:

hdfs dfs -rm -r /user/root/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/root/input /user/root/output

4. Ver Log: para executar a conclusão da história do programa clique e clique sobre os registros, você pode ver o log

 

 Em terceiro lugar, o perfil Descrição:

arquivo de configuração do Hadoop é dividido em duas categorias: os arquivos de configuração e perfis personalizados padrão. Somente quando o usuário deseja modificar um dos valores de configuração padrão, só precisa modificar o arquivo de configuração personalizada, altere os valores dos atributos apropriados.

1. O arquivo de configuração padrão:

Para obter o arquivo padrão	Arquivos armazenados no Hadoop 's jar posição pacote
core- default.xml	hadoop-comum-2.7.2.jar / core- default.xml
hdfs-default.xml	hadoop-hdfs-2.7.2.jar / hdfs-default.xml
yarn- default.xml	hadoop-fios comum-2.7.2.jar / yarn- default.xml
mapred-default.xml	hadoop-mapreduce-client-core-2.7.2.jar / mapred-defaulr.xml

2. Personalize o arquivo de configuração:

núcleo-site.xml, hdfs-site.xml, fio-site.xml, mapred-site.xml

Quatro arquivos de configuração são armazenados em $ HADOOP_HOME / etc / path Hadoop, o usuário pode ser reconfigurada de acordo com os requisitos do projeto.