Hoje registros sobre o uso de um problema HQL encontrou map = 100% e reduzir = 100% em relação ao pensamento de que pode executar resultado, o último relatou um erro repente, a vida realmente é cheio de surpresas e inesperado, só posso dizer isso ... não há nenhuma surpresa feliz
Depois que eu vi esse erro, consulte o log encontrou a colmeia, a colmeia com a implementação da interface é o mesmo jornal, ver o que as coisas, em seguida, usar o Hadoop história: 8088 visão agregada log e encontrou o UI aqui é o início da 4 a mapear uma reduzir, reduzir não aparece logs para haver mapa não está completo, levando a reduzir não trabalho, ponto-los em um log mapa Ver descobrir a origem do mal jornal, o problema é, estouro de pilha, e memória virtual a causa do mapa fiquei encantada
Vários digital focado para fazer algo simples Comentários
110,2 MB de 1 GB
3,7 GB de 2,1 GB de memória virtual usada. recipiente matando
1,110.2MB é a memória física real para esta tarefa
2,1GB é conjunto mapreduce.map.memory.mb (padrão)
3,3.7GB tarefa é levar até a memória virtual
4,2.1GB é mapreduce.map.memory.db yarn.nodemanager.vmem-PMEM-razão multiplicada obtido
5, em que yarn.nodemanager.vmem-PMEM-razão é a razão da memória virtual e memória física, o fio-site.xml fornecida, o padrão é de 2,1
, se I é definida localmente 3, que é o valor calculado 1 * 3 = 3 GB
Em resumo registros nos dizem é a tarefa a ser virtual memória é de apenas 3,7g e 2,1g de memória virtual do sistema para além do limite não funciona, aqui está um pouco alémmemória virtualExistem diferenças com a memória real de seus próprios Baidu não entendem este conhecimento
Portanto, a solução nas seguintes áreas
No conjunto de fios-site.xml off a verificação de memória virtual (o padrão é estado aberto True)
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
<description>Whether virtual memory limits will be enforced for containers.</description>
</property>
De acordo com a minha própria configuração, e a quantidade de dados descoberta memória processada é suficiente, porque este está em mecanismo geral de verificação de memória virtual bloqueado assim que eu configurado só isso, você pode continuar a execução da tarefa
No fio-site.xml memória física é verificada pode ser fechado
<property>
<name>yarn.nodemanager.pmem-check-enabled </name>
<value>false</value>
<description>Whether virtual memory limits will be enforced for containers.</description>
</property>
No entanto, tal cenário um geralmente não é recomendado, porque se um programa tem um vazamento de memória e outras questões, cancelar o cheque, poderia levar ao colapso do cluster.
Há uma falta de memória física pode causar o programa para falhar ao iniciar, memória física aumento
Em mapred-site.xml valor dos seguintes parâmetros de acordo com a quantidade de processamento de dados ajustado apropriadamente:2048, -Xmx1024Mvalor de auto-ajustado adequado
<property>
<name>mapreduce.map.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.map.java.opts</name>
<value>-Xmx1024M</value>
</property>
<property>
<name>mapreduce.reduce.memory.mb</name>
<value>2048</value>
</property>
<property>
<name>mapreduce.reduce.java.opts</name>
<value>-Xmx2560M</value>
</property>
Ele pode ser ajustado yarn.nodemanager.vmem PMEM - tamanho ratio, porque a memória virtual é afetado pela porcentagem de memória física
Pode haver um processo em execução nos dados de RM na inclinação, vazamentos de memória e outras razões que só uma análise detalhada das razões específicas
Depois de mudar o arquivo de configuração do fio-site.xml Lembre-se de reiniciar o fio aglomerado
