Introducción de la serie
Hay tres artículos en "CDH5 Deployment Trilogy", que están en combate real para la preparación, implementación, puesta en marcha y configuración de la versión CDH 5.7.2. El contenido es el siguiente:
El primer artículo: "Preparación", es decir, el funcionamiento de cada máquina en el clúster de CDH; el
segundo
artículo: " Implementación y configuración", este capítulo completa la implementación y el inicio del clúster de CDH; El tercer artículo: "Resumen de problemas" Enumere los problemas y soluciones encontrados en el combate real;
Enlace del artículo de la serie
- "CDH5 Implementación Trilogía Uno: Preparación"
- "Trilogía de implementación de CDH5, segunda parte: implementación y configuración"
- "Trilogía de implementación de CDH5, tercera parte: resumen del problema"
Información de la versión
- CentOS：7.6.1810
- Python: 2.7.5 (viene con el sistema operativo)
- CM 包 ： cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz
Planificación del servidor
El clúster CDH construido esta vez comparte tres máquinas, una maestra y las otras dos son agentes:
| Nombre de host | Dirección IP | Memoria | Identidad |
|---|---|---|---|
| Maestro | 192.168.133.152 | Memoria 4G de doble núcleo | Nodo de gestión |
| trabajador1 | 192.168.133.153 | Memoria de doble núcleo 8G | Nodo de tarea |
| trabajador2 | 192.168.133.154 | Memoria de doble núcleo 16G | Nodo de tarea |
Descarga de archivos
- dirección de descarga de cm: http://archive.cloudera.com/cm5/cm/5/ , encuentre el paquete de cm que necesita descargar, este combate real utiliza cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz , El cuadro rojo como se muestra a continuación:
- Dirección de descarga del paquete: http://archive.cloudera.com/cdh5/parcels , este combate real utilizó CDH-5.7.2-1.cdh5.7.2.p0.18-el7.parcel , descargue la imagen roja a continuación Hay tres archivos en el cuadro. Tenga en cuenta que hay tres archivos para descargar:
La misma operación para todas las máquinas.
Las siguientes operaciones requieren maestro, trabajador1 y trabajador2 para hacerlo cada vez:
- Las operaciones en todas las máquinas en este combate real usan la cuenta raíz;
- Asegúrese de que todas las máquinas puedan iniciar sesión de forma remota utilizando herramientas SSH;
- Instalar herramienta de sincronización de tiempo:
yum install -y ntpdate
- Sincronización de tiempo:
ntpdate cn.ntp.org.cn
- Apague y desactive el firewall:
systemctl stop firewalld && systemctl disable firewalld
- Cerrar SELINUX: abra el archivo / etc / selinux / config , busque la línea SELINUX = xxx y cámbiela a SELINUX = deshabilitado , como se muestra en el cuadro rojo a continuación:
- Cerrar intercambio: abra el archivo / etc / fstab , busque la línea con intercambio , coméntelo, como se muestra en el cuadro rojo a continuación:
- Reinicia la computadora;
- Nueva carpeta / usr / lib / jvm
- Instale JDK, descargué jdk-8u191-linux-x64.tar.gz aquí , después de descomprimir una carpeta llamada jdk1.8.0_191 , coloque esta carpeta en el directorio / usr / lib / jvm ;
- Abra el archivo / etc / profile y agregue lo siguiente al final:
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
- Haga que la configuración sea efectiva:
source /etc/profile
- El directorio JDK predeterminado de CDH es / usr / java / default , por lo que para crear un enlace suave, ejecute el siguiente comando:
mkdir /usr/java && ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
- Compruebe si Python está disponible. De lo contrario, instálelo usted mismo. Esta vez está utilizando la versión 2.6 o 2.7:
- Instalar múltiples paquetes dependientes:
yum -y install chkconfig bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
- Crea un directorio:
mkdir /opt/cloudera-manager
- Cargue el archivo previamente preparado cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz al maestro y ejecute el siguiente comando para extraer el archivo al directorio / opt / cloudera-manager :
tar -zxvf cloudera-manager-centos7-cm5.7.2_x86_64.tar.gz -C /opt/cloudera-manager/
- Cree una cuenta cloudera-scm :
useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
- Edite el archivo config.ini :
vi /opt/cloudera-manager/cm-5.7.2/etc/cloudera-scm-agent/config.ini
- Modifique el valor de server_host a master , como se muestra en el cuadro rojo a continuación:
- Cree un nuevo directorio / usr / share / java / , coloque el mysql-connector-java-5.1.34.jar que acaba de descargar en este directorio y cámbiele el nombre por mysql-connector-java.jar
Configuración de inicio de sesión sin contraseña entre tres computadoras
- Los archivos / etc / hosts de las tres computadoras agregan el siguiente contenido:
192.168.133.154 master
192.168.133.155 worker1
192.168.133.156 worker2
- Las tres computadoras ejecutan comandos: ssh-keygen y luego cuatro retornos de carro para completar la creación de claves públicas y privadas ssh;
- 在 maestro 执行ssh-copy-id root @ trabajador1、ssh-copy-id root @ trabajador2
- 在 trabajador1 执行ssh-copy-id root @ master、ssh-copy-id root @ worker2
- 在 trabajador2 执行ssh-copy-id root @ master、ssh-copy-id root @ worker1
En este punto, la preparación está completa, asegúrese de que todas las máquinas hayan realizado las operaciones anteriores, el siguiente artículo utilizará estas máquinas para completar la implementación.
Bienvenido a prestar atención a mi número público: programador Xinchen
