Primero, configure la variable de entorno hadoop en windows
1. Descomprima el paquete comprimido hadoop en cualquier ubicación, la ruta no debe tener chino ni espacios
2. Coloque el archivo hadoop compilado por Window en el directorio bin de la carpeta hadoop descomprimida
3. Configure HADOOP_HOME en las variables de entorno
5. Agregue% HADOOP_HOME% \ bin y% HADOOP_HOME% \ sbin a la RUTA de variables de entorno
En segundo lugar, la instalación del complemento Hadoop en Esclipse
1. Tire el paquete jar del complemento en la carpeta de complementos debajo de la carpeta Esclipse
2. Edite el archivo de configuración de hadoop hdfs-site.xml en la máquina virtual Linux para agregar la configuración de dfs.permissions
3. Configure la ruta de hadoop en esclipse
4. Inicie hadoop en la máquina virtual y ejecute start-all.sh y abra el mapa / reduzca la vista en esclipse
5. Configure el enlace hadoop en esclipse
Una vez completada la configuración, si no hay ningún error, DFSLocation aparecerá a la izquierda, puede ver directamente los archivos en el Hadoop conectado
Tres, llevar a cabo el desarrollo de mapreduce
1. Fabricar los datos y subirlos a hadoop
Se puede falsificar una gran cantidad de datos mediante el uso aleatorio en matemáticas y algunas declaraciones de juicio de condición simples, ya que el complemento hadoop en esclipse está configurado, no es necesario cargar uno por uno, hacer clic con el botón derecho en la carpeta en DFSLocation y cargar el directorio en dfs
Tenga en cuenta que al escribir datos, agregue
BufferedWriter writer=new BufferedWriter(new OutputStreamWriter(out,"UTF-8"));
Asegúrese de que todos los textos estén en formato utf-8, de lo contrario aparecerán caracteres confusos, y la codificación de esclipse también se cambia al formato utf-8
2. Desarrollar mapa / reducir
Al crear un nuevo proyecto, elija crear un nuevo proyecto de mapeador / reductor, esclipse nos importará automáticamente los paquetes jar relacionados con Hadoop
① Desarrollo de mapeador
Crea un nuevo mapeador
②, Desarrollo de reductor
③ Desarrollo de Driver
④, ejecuta el programa, selecciona ejecutar en hadoop
Los resultados son los siguientes
