Directorio de artículos
herramienta
Masilla de servidor de aplicaciones livianas en la nube de Alibaba
Inicie sesión en el servidor de aplicaciones ligero
Abra Putty, ingrese la dirección IP,
ingrese el nombre de usuario y la contraseña (el usuario predeterminado es root)
Crear nuevo usuario
1. Crea un usuario
useradd -d /home/hadoop -m hadoop
usermod -a -G root hadoop
passwd hadoop
2. Configuración de
usuario Agregar usuario al grupo sudo
visudo
Instale SSH, configure el inicio de sesión sin contraseña SSH
Instalar ssh
sudo apt-get install openssh-server #安装SSH server
ssh localhost #登陆SSH，第一次登陆输入yes
exit #退出登录的ssh localhost
cd ~/.ssh/ #如果没法进入该目录，执行一次ssh localhost
ssh-keygen -t rsa
Después de ingresar la declaración $ ssh-keygen -t rsa, debe presionar enter tres veces seguidas.
Entre ellas, la primera entrada es almacenar la LLAVE en la ubicación predeterminada para facilitar la entrada de comandos posterior. La segunda y tercera vez es para determinar la contraseña, que no es muy relevante. Después de ingresar los dos retornos de carro, si hay una salida similar a la que se muestra en la figura a continuación, es exitosa:
luego ingrese:
cat ./id_rsa.pub >> ./authorized_keys #加入授权
ssh localhost #此时已不需密码即可登录localhost，
Descargue e instale JDK
1. Instale jdk a
través de la instalación de ppa (fuente)
add-apt-repository ppa:webupd8team/java
apt-get update
apt-get install oracle-java8-installer
Descargue el paquete de instalación del sitio web oficial
推荐使用ppa方式安装
2. Verifique si la instalación es exitosa
java -version
3. Configure las variables de entorno de Java
sudo nano ~/.bashrc
Agregue el siguiente contenido en el texto
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
Hacer que las variables de entorno agregadas surtan efecto
source ~/.bashrc
Descarga e instala Hadoop
1. Descargue el
paquete de instalación de cada versión de Hadoop hadoop para ver el enlace:
http://mirrors.hust.edu.cn/apache/hadoop/common/
Enlace del paquete de instalación de Hadoop3.3.0: http: //mirrors.hust. edu.cn/ apache / hadoop / common / hadoop-3.3.0 / hadoop-3.3.0.tar.gz
#在root的家目录下
wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
2. Descomprima Descomprima
el paquete de instalación descargado en el directorio / usr / local y cambie el nombre de la carpeta a hadoop
sudo tar -zxf ~/Downloads/hadoop-3.3.0.tar.gz -C /usr/local #解压到/usr/local中
cd /usr/local/
sudo mv ./hadoop-3.3.0/ ./hadoop #将文件夹名改为hadoop
sudo chown -R hadoop ./hadoop #修改文件权限 这一步一定要做，因为权限很重要
3. Compruebe si hadoop está instalado correctamente
./hadoop/bin/hadoop version
4. Configure las variables de entorno de hadoop
sudo nano ~/.bashrc
Agregue el siguiente contenido en el texto
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
Hacer que las variables de entorno agregadas surtan efecto
source ~/.bashrc
Construye un clúster pseudodistribuido de hadoop
Hadoop puede ejecutarse de manera pseudodistribuida en un solo nodo. El proceso de Hadoop se ejecuta como un proceso Java separado. El nodo actúa como un NameNode y un DataNode. Al mismo tiempo, lee archivos en HDFS.
1. Modifique core-site.xml
sudo nano /usr/local/hadoop/etc/hadoop/core-site.xml
Agregar contenido:
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
2. Modifique hdfs-site.xml
sudo nano /usr/local/hadoop/etc/hadoop/hdfs-site.xml
Agregar contenido:
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http.address</name>
<value>slave1:9870</value>
</property>
3. Configure hadoop-env.sh
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
Agregar contenido
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
export HADOOP_HOME=/usr/local/hadoop
4. Formateo de NameNode
./bin/hdfs namenode -format
5. Inicie los procesos namenode y datanode
./sbin/start-dfs.sh
./sbin/start-yarn.sh
jps
Ocurrió el siguiente error.
Solución:
En la ruta / hadoop / sbin:
agregue los siguientes parámetros en la parte superior de los archivos start-dfs.sh y stop-dfs.sh
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
Además, start-yarn.sh y stop-yarn.sh también deben agregar lo siguiente en la parte superior:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
Aparece el siguiente error
soluciones
Establezca el inicio de sesión sin contraseña SSH en la raíz, el método es el mismo que la configuración en hadoop
Resultado de la ejecución
6. Ver hadoop ①
Puertos abiertos
Consola del servidor de Alibaba Cloud -> El cortafuegos solo tiene tres puertos 80, 443, 22 abiertos de forma predeterminada, y debe abrir manualmente los puertos 9870 y 9000
②Compruebe el cortafuegos
ufw status verbose
# 若未关闭，则关闭防火墙（需要监听端口，内网，全关掉不要紧）
sudo ufw disable
Ingrese la IP de la red pública: 9870 en el navegador y vaya a la página dfs
Link de referencia
El servidor Alibaba Cloud (ligero Ubuntu 16.04) crea un clúster pseudodistribuido Hadoop y realiza el cálculo del valor pi.
Compila un clúster pseudodistribuido Hadoop3.0.3 en el entorno Ubuntu 16.04
. Instalación y configuración de hadoop en Ubuntu 16.04 (entorno pseudodistribuido)
Alibaba El servidor de aplicaciones ligero en la nube centos7 compila el clúster
pseudodistribuido de hadoop El puerto 50070 de hadoop no puede acceder a la página web resumen de la solución