¡Los siguientes pasos son válidos y correctos! ! ! ! !
1. Preparación básica del entorno
1) Lista de software 3
servidores Centos7 (64 bits), la dirección es la siguiente:
jdk1.8
Mysql5.7 (¡se requiere la versión 5.7!)
Mysql-connector-java-5.1.42-bin.jar
cloudera-manager-centos7- cm5.8.5_x86_64.tar.gz (http://archive.cloudera.com/cm5/cm/5)
CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel (http: // archivo .cloudera.com / cdh5 / parcels / 5.8.5 /)
CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 (http://archive.cloudera.com/cdh5/parcels/ 5.8.5 /)
manifest.json (http://archive.cloudera.com/cdh5/parcels/5.8.5/)
2) Dirección del servidor
192.168.56.1 (esta dirección asigna su propia dirección de servidor)
192.168.56.2 (esta dirección asigna su propia dirección de servidor)
192.168.56.3 (esta dirección asigna su propia dirección de servidor)
3) Modificar el nombre de host
vim /etc/hostname
Después de modificar el nombre de host cdh *, haga lo siguiente
service network restart
4) Configurar hosts
vim /etc/hosts
192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3
5) Acceso libre de secretos
ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id root@cdh1
ssh-copy-id root@cdh2
ssh-copy-id root@cdh1
6) Apague el firewall
systemctl stop firewalld
systemctl disable firewalld
7) Cerrar SELINUX
setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled
8) Configurar NTP
yum -y install ntp
systemctl start ntpd
systemctl enable ntpd
在cdh1节点
vim /etc/ntp.conf
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 1.cn.pool.ntp.org nomodify notrap noquery
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 3.cn.pool.ntp.org nomodify notrap noquery
server 127.127.1.0
fudge 127.127.1.0 stratum 10
systemctl start ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
server cdh1 prefer
systemctl start ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat
9) Instale JDK
mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/
Establecer variables de entorno
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
java -version
10) Instalar MySQL
Elimina tu propia base de datos
rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf
Descarga dependencias y crea usuarios y grupos
yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql
Consulte el siguiente enlace para la instalación:
https://blog.csdn.net/baidu_32872293/article/details/80557668
Configurar la base de datos para permitir el inicio de sesión remoto
mysql -u root -p
use mysql;
update user set host=’%’ where user=’root’;
Si se informa del error, es posible que se haya configurado, utilice la siguiente declaración para ver
select host from user where user = ‘root’;
flush privileges;
Cambiar el controlador de caracteres de la base de datos
set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;
Ver resultados de modificaciones
show variables like ‘character_set_%’;
Cierre el modo de seguridad de la base de datos, para que la base de datos se pueda agregar, eliminar y modificar
SET SQL_SAFE_UPDATES=0;
Cree una base de datos y haga que el usuario raíz local tenga acceso
mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to ‘root’@’cdh1’ identified by ‘000000’ with grant option;
flush privileges;
Instalar CDH
cp /home/cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz /opt/
cd /opt/
tar xvf cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz
rm cloudera-manager-centos7-cm5.8.5_x86_64.tar.gz
Modificar la configuración del agente
vim /opt/cm-5.8.5/etc/cloudera-scm-agent/config.ini
server_host=cdh1
scp -r /opt/cm-5.8.5 root@cdh2:/opt/
scp -r /opt/cm-5.8.5 root@cdh3:/opt/
Crear un usuario de gestión de scm para todos los nodos
useradd --system --home=/opt/cm-5.8.5/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
nodo cdh1
cp /home/ mysql-connector-java-5.1.47-bin /opt/cm-5.8.5/share/cmf/lib/
Base de datos de configuración del script de inicialización
/opt/cm-5.8.5/share/cmf/schema/scm_prepare_database.sh mysql -h cdh1 -uroot -p000000 --scm-host cdh1 scm scm scm
Configurar permisos para la base de datos scm
mysql -u root -p
grant all on *.* to ‘scm’@’%’ identified by ‘scm’ with grant option;
flush privileges;
exit;
Copie el archivo del paquete de instalación en la ruta de instalación predeterminada
cp /home/CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.8.5-1.cdh5.8.5.p0.5-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/
cdh1 inicia el lado del servidor:
/opt/cm-5.8.5/etc/init.d/cloudera-scm-server start
cdh [1-3] Inicie el agente:
/opt/cm-5.8.5/etc/init.d/cloudera-scm-agent start
Se tarda entre 2 y 5 minutos en iniciarse
Dirección: http: // localhost: 7180
Usuario: admin
Contraseña: admin
Resumen de problemas comunes
1. Verifique la corrección del host y la solución a la advertencia
Ejecute los siguientes comandos en los tres servidores
sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2. No se puede conectar la base de datos de tonos de configuración de la base de datos
Ejecute el comando en los nodos cdh2 y cdh3
scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64
或者参考
https://blog.csdn.net/ckg8933/article/details/83379279
3. Hive carece de controlador mysql
ejecución cdh1
cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/
4. Oozie carece de controlador mysql
ejecución cdh1
cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar
5. Falló la conexión de prueba de la base de datos de hue.
https://blog.csdn.net/ckg8933/article/details/83379279
6. La conexión de prueba de la base de datos falla.
https://blog.csdn.net/levy_cui/article/details/51142843