Notas del estudio de Hadoop _3: modo local de modo de funcionamiento

Modo de funcionamiento de Hadoop

• Modo local

  De forma predeterminada, Hadoop está configurado para ejecutarse en un modo no distribuido, como un único proceso de Java. Esto es útil para depurar.

  De forma predeterminada, Hadoop está configurado para ejecutarse como un único proceso de Java en modo no distribuido. Esto es útil para depurar.

  • Estuche oficial Grep

    El siguiente ejemplo copia el directorio conf descomprimido para usarlo como entrada y luego busca y muestra todas las coincidencias de la expresión regular dada. La salida se escribe en el directorio de salida dado.

    El siguiente ejemplo copia el directorio de configuración descomprimido para usarlo como entrada, y luego busca y muestra cada coincidencia de la expresión regular dada. La salida se escribe en el directorio de salida dado.

    $ mkdir input
    $ cp etc/hadoop/*.xml input
    $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
    $ cat output/*
    

    Operación real:

    • Entrada de estructura
      
    • Ejecutar el caso proporcionadogrep
      
    • Verifique la salida ( outputno cree la carpeta manualmente, se creará automáticamente durante la ejecución del programa. La creación manual causará una org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/opt/module/hadoop-2.7.2/output already existsexcepción).
      
      _SUCCESS significa ejecución exitosa

  • El caso oficial de WordCount (cuente el número de cuadrículas de palabras)

    Operación real:

    • Entrada de estructura

      [root@localhost hadoop-2.7.2]# mkdir wcinput
      [root@localhost hadoop-2.7.2]# cd wcinput/
      [root@localhost wcinput]# touch wc.input
      [root@localhost wcinput]# vim wc.input 
      [root@localhost wcinput]# cat wc.input 
      Baidu Alibaba
      ByteDance
      zhangsan
      lisi
      wangwu wangwu
      Bcxtm
      Bcxtm
      Bcxtm
      

    • Ejecutar el caso proporcionadowordcount

      [root@localhost hadoop-2.7.2]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput/ wcoutput
      

    • Ver salida

      [root@localhost hadoop-2.7.2]# cd wcoutput/
      [root@localhost wcoutput]# ll
      总用量 4
      -rw-r--r-- 1 root root 65 7月   5 10:40 part-r-00000
      -rw-r--r-- 1 root root  0 7月   5 10:40 _SUCCESS
      [root@localhost wcoutput]# cat part-r-00000 
      Alibaba	1
      Baidu	1
      Bcxtm	3
      ByteDance	1
      lisi	1
      wangwu	2
      zhangsan	1