¡Los siguientes pasos son válidos y correctos! ! ! ! !
1. Preparación básica del entorno
1) Lista de software 3
servidores Centos7 (64 bits), la dirección es la siguiente:
jdk1.8
Mysql5.7 (¡se requiere la versión 5.7!)
Mysql-connector-java-5.1.42-bin.jar
cloudera-manager-agent- 6.3.1-1466458.el7.x86_64.rpm (https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
cloudera-manager-daemons-6.2.0-968826.el7 .x86_64.rpm (https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm (https: //archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
oracle-j2sdk1.8-1.8.0 + update181-1.x86_64.rpm (https://archive.cloudera.com /cm6/6.3.1/redhat7/yum/RPMS/x86_64/)
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel (https://archive.cloudera.com/cdh6/6.3. 2 / paquetes /)
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 （https://archive.cloudera.com/cdh6/6.3.2/parcels/）
manifest.json （https: // archivo .cloudera.com / cdh6 / 6.3.2 / parcels /）
2) Dirección del servidor
192.168.56.1 (esta dirección asigna su propia dirección de servidor)
192.168.56.2 (esta dirección asigna su propia dirección de servidor)
192.168.56.3 (esta dirección asigna su propia dirección de servidor)
3) Modificar el nombre de host
vim /etc/hostname
Después de modificar el nombre de host cdh *, haga lo siguiente
service network restart
4) Configurar hosts
vim /etc/hosts
192.168.56.1 cdh1
192.168.56.2 cdh2
192.168.56.3 cdh3
5) Acceso libre de secretos
ssh-keygen -t rsa
//三台服务器全都执行以下命令
ssh-copy-id root@cdh1
ssh-copy-id root@cdh2
ssh-copy-id root@cdh1
6) Apague el firewall
systemctl stop firewalld
systemctl disable firewalld
7) Cerrar SELINUX
setenforce 0
vim /etc/sysconfig/selinux
SELINUX=disabled
8) Configurar NTP
yum -y install ntp
systemctl start ntpd
systemctl enable ntpd
在cdh1节点
vim /etc/ntp.conf
server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 1.cn.pool.ntp.org nomodify notrap noquery
restrict 2.cn.pool.ntp.org nomodify notrap noquery
restrict 3.cn.pool.ntp.org nomodify notrap noquery
server 127.127.1.0
fudge 127.127.1.0 stratum 10
systemctl start ntpd.service
systemctl enable ntpd.service
ntpstat
在cdh[2-3]节点
vim /etc/ntp.conf
server cdh1 prefer
systemctl start ntpd.service
systemctl enable ntpd.service
ntpdate -u cdh1
ntpstat
9) Instale JDK
mkdir /usr/local/java
cp /home/ jdk-8u131-linux-x64.gz /usr/local/java/
cd /usr/local/java/
tar xvf jdk-8u131-linux-x64.gz
rm jdk-8u131-linux-x64.gz
scp -r /usr/local/java/ root@cdh2:/usr/local/
scp -r /usr/local/java/ root@cdh3:/usr/local/
Establecer variables de entorno
vi /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
java -version
10) Instalar MySQL
Elimina tu propia base de datos
rpm -qa | grep mariadb
rpm -e –nodeps 包名
rm -rf /etc/my.cnf
Descarga dependencias y crea usuarios y grupos
yum -y install perl perl-devel autoconf
groupadd mysql
useradd -g mysql mysql
id mysql
Consulte el siguiente enlace para la instalación:
https://blog.csdn.net/baidu_32872293/article/details/80557668
https://www.cnblogs.com/downmoon/p/11896158.html
Configurar la base de datos para permitir el inicio de sesión remoto
mysql -u root -p
use mysql;
update user set host=’%’ where user=’root’;
Si se informa del error, es posible que se haya configurado, utilice la siguiente declaración para ver
select host from user where user = ‘root’;
flush privileges;
Cambiar el controlador de caracteres de la base de datos
set character_set_client=utf8;
set character_set_connection=utf8;
set character_set_results=utf8;
set character_set_server=utf8;
set character_set_system=utf8;
Ver resultados de modificaciones
show variables like ‘character_set_%’;
Cierre el modo de seguridad de la base de datos, para que la base de datos se pueda agregar, eliminar y modificar
SET SQL_SAFE_UPDATES=0;
Cree una base de datos y haga que el usuario raíz local tenga acceso
mysql -u root -p
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database am DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
grant all privileges on *.* to ‘root’@’cdh1’ identified by ‘000000’ with grant option;
flush privileges;
Instalar el servidor CDH (nodo maestro)
Prepárese con anticipación:
将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下
Modificación de la base de datos /etc/my.cnf
[mysqld]
validate_password=off
wait_timeout=31536000
interactive_timeout=31536000
Instalar cloudera rpm
yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
Inicialización de
parcelas nuevo directorio de parcelas
mkdir -p /opt/cloudera/parcel-repo
Copie el archivo del paquete de instalación en la ruta de instalación predeterminada
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel /opt/cloudera/parcel-repo/
cp /home/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha
cp /home/manifest.json /opt/cloudera/parcel-repo/
Ejecute el comando crear base de datos
/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -p'000000' --scm-host localhost scm scm scm
Reinicie cloudera-scm-server
service cloudera-scm-server restart
Dirección: http: // localhost: 7180
Usuario: admin
Contraseña: admin
Instalar el agente CDH (cada nodo)
Prepárese con anticipación:
将mysql-connector-java-5.1.42-bin.jar改名为mysql-connector-java.jar放入/usr/share/java目录下
Instalar cloudera rpm
yum install oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
yum install cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
Modificar la configuración del agente
vim /etc/cloudera-scm-agent/config.ini
server_host=cdh1
Agente de inicio
systemctl start cloudera-scm-agent
Resumen de problemas comunes
1. Verifique la corrección del host y la solución a la advertencia
Ejecute los siguientes comandos en los tres servidores
sysctl -w vm.swappiness=10
vim /etc/sysctl.conf
vm.swappiness=10
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
vim /etc/rc.local
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
2. No se puede conectar la base de datos de tonos de configuración de la base de datos
Ejecute el comando en los nodos cdh2 y cdh3
scp -r /usr/lib64/mysql/libmysqlclient.so.18 root@cdh1:/usr/lib64
或者参考
https://blog.csdn.net/ckg8933/article/details/83379279
3. Hive carece de controlador mysql
ejecución cdh1
cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/hive/lib/
4. Oozie carece de controlador mysql
ejecución cdh1
cp /home/mysql-connector-java-5.1.42-bin.jar /opt/cloudera/parcels/CDH-5.8.5-1.cdh5.8.5.p0.5/lib/oozie/lib/
cp /home/mysql-connector-java-5.1.42-bin.jar /var/lib/oozie/mysql-connector-jave.jar
chmod 777 /var/lib/oozie/mysql-connector-jave.jar
5. Falló la conexión de prueba de la base de datos de hue.
https://blog.csdn.net/ckg8933/article/details/83379279
6. La conexión de prueba de la base de datos falla.
https://blog.csdn.net/levy_cui/article/details/51142843
7. No puedo encontrar la biblioteca de paquetes local.
chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/*
chmod 777 /opt/cloudera/parcel-repo/*
重启服务
8. Problema de permisos de carpeta HDFS
chmod 777 -R nn
chmod 777 -R snn
chmod o-w -R dn
chmod o-w -R var
9. La falta de libmysqlclient.so.18 ()
下载安装此组件
https://download.csdn.net/download/lufengbo123/12195518
10. Se producen diversas anomalías en el uso de hbase
删除zookeeper下hbase目录，然后重启hbase即可
Si aún se produce el error de inicialización del maestro, después de eliminar el directorio hbase en zookeeper, detenga el clúster de hbase y use hdfs dfs -rmr / hbase para
eliminar el archivo hdfs, cree un nuevo directorio raíz de hbase en la parte frontal de hbase y reinicie.
11. Antes de empezar
看看各个组件内部是否需要创建文件夹和数据库
12. Utilice hbase para informar errores en el tono.
Hbase中取消以下两个选项
hue中添加以下选项
[hbase]
thrift_transport=buffered
