En primer lugar, el trabajo realizado
1. El código maestro para ejecutar correctamente
2. hdfs a importar datos de MySQL
En segundo lugar, los problemas encontrados y resueltos, el pensamiento
1. Ejecute los problemas encontrados cuando el código maestro
problema:
Cuando se ejecuta el código que el maestro realmente iniciar un exitoso comienzo, pero después de comenzar siempre se encuentran algunos que no saben lo que la salida va a pensar que el programa tiene un error, así que pasamos un montón de tiempo para buscar en línea, pero en vano, y en última instancia maestra me dijo que era una petición hecha a la livy-servidor de aplicaciones web, debido a que el servidor no ha instalado livy, por lo que habrá algunos consejos.
Pensando:
Artículos (1) para leer el código :( tiempo de otra persona a prestar atención a esta forma de pensar se puede generalizar para hacer cualquier cosa, como leer un libro, aprender una nueva arquitectura, etc.)
Ⅰ. En primer lugar para tener una comprensión general del código y saber qué se utiliza este código.
Ⅱ. Comprender la estructura de la organización del código y los conocimientos prácticos entre la función de cada módulo, y el módulo está escribiendo.
Ⅲ. Código específico en un archivo, o para hacer obras en Ⅰ, Ⅱ paso.
Ⅳ. El último estudio para lograr un código específico.
2. Instalar los problemas livy encontrado
problema:
Después de instalar livy presentado tarea de detección de chispas cuando, siempre hilo que se da, lo que sugiere que la falta de recursos, sino también como un primer paso, desde la búsqueda de mar a Internet, buscar y encontrar los resultados no coinciden con los suyos, pero todavía no se dio por vencido, continuará buscar, y finalmente a perder mucho tiempo, no hay resultados. La final fue pensado en un principio de secreto, libre no está configurado para iniciar sesión con éxito, lo que resulta de hilo no funciona, usted puede presentar una solicitud con acabado libre de chispas después de inicio de sesión secreta, pero el hilo no está funcionando adecuadamente.
Pensando:
(1) estrategia de búsqueda en línea: Google, Baidu venir de nuevo, después de nuevo si no se resuelve para ilustrar esto no es un problema común, a continuación, pasar mucho tiempo para la búsqueda no es rentable, ya que su mirada registro, adivinar dónde está el problema, lo que está mal o encontrar periódico local para encontrar este archivo, busque la ubicación de error, por lo general adivinar mal.
(2) Cuando se enfrenta a un problema, tenemos que encontrar una manera de resolver, si se fuga, a continuación, hará que más errores en el futuro, como si fuera la primera vez que me encontré con el tiempo libre cerca los problemas de inicio de sesión, el gasto de media hora reasignación evitar densa inicio de sesión, será eliminar hasta resolver el problema del error de hilo de 7-8 horas.
3. Instalación problemas encontrados cuando Sqoop
problema:
El principio de la instalación es Sqoop 1.4.7, la versión más utilizada de Internet, por lo que se instala, y luego aprender el uso y la forma de llamar a la API de Java, en el momento de la API de transferencia, me pareció ser 1.99. versión 7, siga el tutorial hecho, los resultados hacen la mitad encontró algunas cosas no hicieron en 1.4.7, esta versión cuenta con dos diferencia muy grande, se puede decir simplemente no uso de la misma, y trato de buscar 1,4 0.7 de la API, encontró que el funcionario no dio la API adecuada, pero lamentablemente sólo puede ser re-instalado.
Pensando:
(1) o como se menciona en el primer punto, cuando el uso de una cosa, asegúrese de tener un general en esta cosa de controlar, para saber lo que esto se trata de proporcionar la función, no es algo que realmente necesita, y no es una caída, la cabeza finalmente aprendido que no sabía que al final aprender algo.
(2) una serie de software entre versiones, como la montaña cruz, así que asegúrese de comprobar en el momento de la instalación de entender cuál es la versión que necesitan.
4. Ejecutar los problemas Sqoop encontrado
problema:
Sqoop tiempo de ejecución es siempre rápido en el hilo en la misión falla, entonces pensé que era el razones hilo equivocado, es un error de Internet buscar una gran cantidad de hilo, que se encuentra que simplemente no buscar, voy a reiniciar el hilo, durante el reinicio los hallazgos sugieren NameNode no lo encuentra, lo que sugiere que esto es realmente cuando instalo livy en la experiencia, pero no controlaban, eso no es importante. Pero, de hecho, por esta razón, el hilo simplemente se reinicia, tras reiniciar encontré tarea Sqoop todavía no puede someterse, entonces me di cuenta de que era error mapreduce, me encontré registro descuidada se carga en el directorio sin el permiso .
NameNode no se encontró el problema:
hadoop NameNode del PID almacenado en el directorio / tmp, el directorio se limpia con regularidad, así que después de NameNode de pid se aclaró no puede encontrarlo, sólo tenemos que usar kill -9 para detener el proceso de la fuerza, y luego configurar hadoop / sbin hadoop-env.sh bajo el archivo, la modificación de directorio de almacenamiento de PID para su directorio especificado puede reiniciar.
Pensando:
Debido a que el hilo ha habido ningún problema a resolver, por lo que cuando se enfrentan a un problema que piensan que puede ser de hilo que hay un problema, a continuación, pasar mucho tiempo para encontrar, y finalmente encontró el problema no es el hilo, y una ocupada blanco, por lo que en la cara cuando el problema debe tener todo resuelto, o debido a los pequeños problemas que puedan afectar a la realización de todo el proyecto.
En tercer lugar, el resumen
Hay dos ventajas principales:
1. 要有全局观，以全局视角看待一件事情
2. 遇到问题就要解决，不能拖着，否则将会又无穷的后患。
