no más espacio utilizable [ /tmp/hadoop-yarn/nm-local-dir : espacio usado por encima del umbral del 90,0 %
El error "no hay más espacio utilizable [/tmp/hadoop-yarn/nm-local-dir: espacio usado por encima del umbral del 90,0%]" generalmente significa que el espacio disponible almacenado en /tmp/hadoop-yarn/nm-local- directorio dir El espacio ha superado el límite del umbral del 90 %.
Este error generalmente es causado por espacio insuficiente en el disco local del nodo informático (NodeManager). Los nodos informáticos de Hadoop YARN utilizan discos locales para almacenar archivos temporales y datos de tareas. Cuando el uso del espacio en disco supera el umbral establecido, se activará este error.
Para abordar este problema, considere lo siguiente:
Limpie los archivos temporales: limpie los archivos temporales en el directorio /tmp/hadoop-yarn/nm-local-dir en el nodo informático, limpie los archivos innecesarios a tiempo después de completar la tarea y libere espacio en disco.
Ajuste la configuración del umbral: según sus necesidades y la capacidad del disco, puede ajustar la configuración del umbral, aumentándola a un porcentaje más alto para que se pueda usar más espacio en el disco.
Aumente el espacio en disco: si el espacio en disco de su nodo informático a menudo es insuficiente, puede considerar aumentar la capacidad del disco del nodo informático para proporcionar más espacio libre.
Configure otros directorios locales: además del directorio /tmp/hadoop-yarn/nm-local-dir, también puede configurar otros directorios locales como directorios de almacenamiento para que los nodos de cómputo distribuyan la carga de almacenamiento y aumenten el espacio disponible.
funcionar:
- Primero elimine el directorio de caché de usuario en el directorio /tmp/hadoop-yarn/nm-local-dir (u otras carpetas en este directorio también se pueden eliminar según sea necesario)
- Primero agregue una extensión de sitio de hilo yarn.nodemanager.local-dirs, y agregue algunos otros elementos en el disco /data/tmp/xxx según el valor predeterminado ${hadoop.tmp.dir}/nm-local-dir Directorios (separados por comas)
- reiniciar YARN NodeManager