Construcción de clúster CDH 6.2.0

1. Preparación

1.1 Primero, necesitamos preparar tres máquinas centos7, la ip y el nombre de host de las tres máquinas centos7 son respectivamente

IP	nombre de host
192.168.1.25	Maestro
192.168.1.26	esclavo01
192.168.1.27	esclavo02

Inserte la descripción de la imagen aquí
Nota: Se requieren las tres máquinas para poder acceder a la red externa

1.2 Descripción de la versión de las herramientas utilizadas

Versión de Centos: CentOS-7.4-x86_64-DVD-1708.iso Versión de
Clouder Manage: 6.2.0
Versión de paquete CDH: 6.2.0
Versión de JDK: oracle-j2sdk1.8-1.8.0 + update181-1.x86_64.rpm
Versión de MySQL : 5,7

Enlace de descarga: paquete CDH de Clouder Manager

2. Configuración del servidor de nodo

2.1 configuración del nombre de host

# master节点
hostnamectl set-hostname master

# slave01节点
hostnamectl set-hostname slave01

# slave02节点
hostnamectl set-hostname slave02

nodo maestro:
Inserte la descripción de la imagen aquí
nodo

esclavo01: nodo esclavo02:

2.2 Configuración de / etc / hosts

vi /etc/hosts

192.168.1.25 master
192.168.1.26 slave01
192.168.1.27 slave02

nodo maestro:
Inserte la descripción de la imagen aquí
nodo

esclavo01: nodo esclavo02:

2.3 Apague el firewall

# 查看状态
firewall-cmd --state

# 停止firewall
systemctl stop firewalld.service

# 禁止firewall开机启动
systemctl disable firewalld.service

nodo maestro:
Inserte la descripción de la imagen aquí
nodo

esclavo01: nodo esclavo02:

2.3 Cerrar selinux

# 修改selinux
vi /etc/selinux/config

SELINUX=disabled

Nodo
Inserte la descripción de la imagen aquí

maestro : El nodo esclavo01 y el nodo esclavo02 tienen las mismas operaciones que el nodo maestro.

2.3 Configuración de inicio de sesión sin contraseña para tres máquinas

# 创建私钥
ssh-keygen -t rsa  

# 将创建私钥copy到master节点
ssh-copy-id root@master

# 将创建私钥copy到slave01节点
ssh-copy-id root@slave01

# 将创建私钥copy到slave02节点
ssh-copy-id root@slave02

Nodo maestro : pruebe
Inserte la descripción de la imagen aquí

el

mismo funcionamiento del esclavo01 y del esclavo02 que el nodo maestro.

3. Instale CDH

3.1 Ejecute las siguientes declaraciones en los tres nodos de maestro, esclavo01 y esclavo02 para crear directorios relacionados

mkdir -p /data/software/
mkdir -p /data/software/jdk\&cm/
mkdir -p /data/software/mysql/
mkdir -p /data/software/parcel/

Inserte la descripción de la imagen aquí

3.2 Cargue el archivo de instalación correspondiente al directorio correspondiente (se deben operar los tres nodos)

/ data / software / directorio jdk & cm:
Inserte la descripción de la imagen aquí
/ data / software / directorio de paquetes:

/ data / software / directorio mysql:

/ data / software / directorio:

3.3 Instalar Clouder Manage

3.3.1 Cree un nuevo directorio /etc/yum.repos.d/, copie el archivo cloudera-manager.repo en el directorio / data / software / al directorio /etc/yum.repos.d/,

mv /data/software/cloudera-manager.repo /etc/yum.repos.d/

3.3.2 Ingrese al directorio / data / software / jdk & cm /,

# 查看待安装的cloudear的版本
yum list | grep cloudera

# 执行安装命令(同时安装jdk、cloudear manager)
yum -y install *.rpm

Inserte la descripción de la imagen aquí
La siguiente figura muestra que la instalación de cloudera-manager-daemons y cloudera-manager-server falló.

Reinstale cloudera-manager-daemons y cloudera-manager-server

# 安装 cloudera-manager-daemons(masters、lave01、slave02节点不需要安装)
yum -y install cloudera-manager-daemons-6.2.0-968826.el7.x86_64.rpm

# 安装 cloudera-manager-server(master节点需要安装，slave01、slave02节点不需要安装)
yum -y install cloudera-manager-server-6.2.0-968826.el7.x86_64.rpm

Inserte la descripción de la imagen aquí

Instale cloudera manager de la misma manera que slave01 y slave02, pero no necesita instalar cloudera-manager-server.

3.3.3 Configurar variables de entorno de Java

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera/
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

Nodo
Inserte la descripción de la imagen aquí
maestro : la misma operación que los nodos esclavo01 y esclavo02.

3.3.4 Instalar la base de datos mysql (solo es necesario instalar mysql en el nodo maestro, no es necesario instalar esclavo01 y esclavo02)

Ingrese al directorio / data / software / mysql /, consulte la instalación en línea de mysql5.7 en el servidor Centos7 para instalar

Después de instalar mysql, ejecute la siguiente declaración en la base de datos:

CREATE DATABASE  scm CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY 'scm';

CREATE DATABASE  amon CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

CREATE DATABASE  rman CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'rman';

CREATE DATABASE  hue CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'hue';

CREATE DATABASE  metastore CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'hive';

CREATE DATABASE  sentry CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'sentry';

CREATE DATABASE  nav CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'nav';

CREATE DATABASE  navms CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'navms';

CREATE DATABASE  oozie CHARACTER SET utf8  COLLATE utf8_general_ci;	
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

Inserte la descripción de la imagen aquí
Ver la base de datos:

3.3.4 Cree un nuevo directorio mkdir -p / usr / share / java / y cambie el nombre del paquete del controlador mysql en el directorio / data / software / mysql /: mysql-connector-java-5.1.44.jar a mysql-connector -java .jar, luego copie al directorio / usr / share / java / (los tres nodos deben ser ejecutados)

mkdir -p /usr/share/java/

cp /data/software/mysql/mysql-connector-java-5.1.44.jar /data/software/mysql/mysql-connector-java.jar

cp /data/software/mysql/mysql-connector-java.jar /usr/share/java/

3.3.5 Ejecute la siguiente declaración en el nodo maestro para configurar la base de datos del servidor scm

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm

Inserte la descripción de la imagen aquí

4. Configuración del clúster CDH

4.1 Iniciar el servidor scm

# 启动scm-agent(所有节点)
systemctl stop cloudera-scm-agent
# 启动scm-server(master节点)
systemctl start cloudera-scm-server

# 查看日志
tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

Inserte la descripción de la imagen aquí
Después de iniciar el servicio, si ve lo siguiente en el registro, significa que el inicio fue exitoso

2020-10-27 08:13:31,567 INFO WebServerImpl:org.eclipse.jetty.server.Server: Started @142030ms
2020-10-27 08:13:31,567 INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server.

Inserte la descripción de la imagen aquí

4.2 Visite http: // master: 7180 / en el navegador para ingresar a la interfaz del administrador de cloudear, nombre de usuario admin, contraseña admin, iniciar sesión

Inserte la descripción de la imagen aquí

4.3 Realizar la configuración del clúster después de iniciar sesión

El punto directo continúa
Inserte la descripción de la imagen aquí
marcando "sí", luego continúe

seleccionando "libre", señale para continuar para

continuar

completando un clúster Hinako después del punto continúe

en la siguiente figura ingrese el nombre de host, haga clic en buscar, luego continúe

ingresando a la siguiente interfaz , donde puede ver Seleccione la versión de cdh para que sea inconsistente con la versión que instalamos,
Inserte la descripción de la imagen aquí
haga clic en "Más opciones" en la imagen de arriba y vea "Configuración del repositorio de parcelas", donde la ruta del repositorio de parcelas local es "/ opt / cloudera / parcel-repo "La

solución es que necesitamos copiar los archivos en el directorio / data / software / parcel / a / opt / cloudera / parcel-repo / (los tres nodos deben realizar esta operación) y luego reiniciar

mkdir -p /opt/cloudera/parcel-repo
cd /data/software/parcel/
cp -r ./* /opt/cloudera/parcel-repo/

Inserte la descripción de la imagen aquí

Una vez completada la operación anterior, elija detener el servicio, luego inicie el servicio, actualice la página, como se muestra en la figura a continuación, puede ver la versión que es consistente con nuestra versión instalada, luego verifíquela, haga clic para continuar
Inserte la descripción de la imagen aquí
como como se muestra en la figura, se ha instalado jdk, por lo que no lo marque, haga clic en continuar directamente,

ingrese la contraseña, haga clic en continuar Una vez

completada la instalación, haga clic en continuar

Como se muestra en la figura a continuación, seleccione el elemento inferior y luego haga clic en continuar
Inserte la descripción de la imagen aquí
. Marque "Personalizado" como se muestra en la figura a continuación, luego verifique los componentes que se instalarán y luego haga clic en continuar.

Inserte la descripción de la imagen aquí
Complete el nombre, el nombre de usuario y la contraseña de la base de datos relevante y haga clic en Prueba de conexión. Una vez que la prueba sea exitosa, haga

clic en Continuar

Haga clic en Continuar Haga clic en Continuar