CDH5.16.1 nuevo nodo

Tabla de contenido

Versión de entorno

CentOS 7.6
CDH 5.16.1

Configuración del servidor

1. Establecer hostName y Hosts

vim /etc/hostname
vim /etc/hosts

2. Cierre SELINUX, cambie SELINUX = enforcing a SELINUX = disabled

vim /etc/selinux/config

3. Configure SSH sin contraseña

#1.在新增节点生成公钥
ssh-keygen -t rsa

#2.将本机的公钥复制到集群中其他服务器上
cd ~/.ssh
ssh-copy-id cdh01

4. Establezca vm.swappiness = 10

cat /proc/sys/vm/swappiness #查看当前值，设置后需要重启才生效

vi /etc/sysctl.conf
vm.swappiness=10 #在文件最后增加一行

5. Instale Java, Scala

Mantenga la versión de Java y Scala con otros nodos

6. Configurar accesos directos de Java

mkdir /usr/java

ln -s /opt/module/jdk1.8.0_144/ /usr/java/default

7. Copie el archivo jar de mysql en el directorio / usr / share / java /

mkdir /usr/share/java/
cp /opt/software/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

#注意jar包名称要修改为mysql-connector-java.jar
mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar  /usr/share/java/mysql-connector-java.jar

Despliegue de software

1. Descargue las dependencias de terceros en el nuevo nodo

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

2. Agregue archivos relacionados con CDH al nuevo nodo
Inserte la descripción de la imagen aquí

3. Extraiga cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz en el nuevo nodo

mkdir /opt/module/cloudera-manager
tar -zxvf /opt/software/cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt/module/cloudera-manager/

4. Nuevo nodo crea usuario cloudera-scm

useradd --system --home=/opt/module/cloudera-manager/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

# --system 创建一个系统账户
# --home 指定用户登入时的主目录，替换系统默认值/home/<用户名>
# --no-create-home 不要创建用户的主目录
# --shell 用户的登录 shell 名
# --comment 用户的描述信息

5. Cree un directorio Parcel-repo y copie los archivos relacionados con CDH en / opt / cloudera / parcel-repo

mkdir -p /opt/cloudera/parcel-repo

Inserte la descripción de la imagen aquí

6. Configurar el agente de CM

vim /opt/module/cloudera-manager/cm-5.16.1/etc/cloudera-scm-agent/config.ini

Inserte la descripción de la imagen aquí

7. Inicie CM Agent

/opt/module/cloudera-manager/cm-5.16.1/etc/init.d/cloudera-scm-agent start

8. Entonces se puede operar la página web