CDH + Kylin Trilogy Segunda parte: implementación y configuración

Este artículo es el segundo de una serie de "CDH + Kylin Trilogy". El artículo anterior "CDH + Kylin Trilogy: Preparations" ha preparado las máquinas y documentos necesarios, y CDH y Kylin pueden implementarse;

Ejecute script ansible para implementar CDH y Kylin (computadora ansible)

Ingrese el directorio ~ / playbooks de la computadora ansible , y después de la preparación del artículo anterior, el directorio debe tener el siguiente contenido:
Compruebe si el funcionamiento remoto ansible del servidor CDH es normal Ejecute el comando ansible deskmini -a "free -m" para mostrar la información de la memoria del servidor CDH en condiciones normales, como se muestra a continuación:
Ejecute el comando para iniciar la implementación: ansible-playbook cm6-cdh5-kylin264-single-install.yml
Todo el proceso de implementación implica operaciones que requieren mucho tiempo, como la instalación en línea y la transmisión de archivos grandes. Espere pacientemente (aproximadamente media hora). Si sale con errores durante la implementación (como problemas de red), solo necesita repetir el comando anterior, ansible garantiza la operación Idempotencia;
La implementación exitosa se muestra a continuación:

Reinicie el servidor CDH

Dado que la configuración de selinux y swap se modifica, el sistema operativo debe reiniciarse para que surta efecto, así que reinicie el servidor CDH;

Ejecute un script ansible para iniciar el servicio CDH (computadora ansible)

Espere a que el servidor CDH se reinicie correctamente;
Inicie sesión en la computadora ansible e ingrese el directorio ~ / playbooks ;
Ejecute el script para inicializar la base de datos e iniciar el CDH: ansible-playbook cdh-single-start.yml
Una vez que se completa el inicio, se genera la siguiente información:
Inicie sesión en el servidor CDH con ssh y ejecute este comando para observar el inicio del servicio CDH: tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log , cuando vea el contenido en el cuadro rojo a continuación, significa que se inició Terminado, puede iniciar sesión con un navegador:

Configuración (operación del navegador)

Ahora que se ha iniciado el servicio CDH, puede operarlo a través del navegador:

Acceso al navegador: http://192.168.50.134:7180, como se muestra a continuación, la contraseña de la cuenta es admin :
Hasta el siguiente paso, seleccione la versión de prueba de 60 días en la página de selección de versión:
Seleccione la página de host para ver el servidor CDH (deskmini):
En la página para seleccionar la versión CDH, seleccione 5.16.2-1 en el cuadro rojo a continuación:
Vaya a la página donde está instalado Parcel. Dado que el paquete de paquetes fuera de línea se carga por adelantado, el progreso de la descarga se vuelve 100% instantáneo. En este momento, espere a que se complete la distribución, descompresión y activación:
A continuación, hay algunas operaciones recomendadas: aquí puede omitir el cuadro rojo como se muestra a continuación:
Luego está la página para seleccionar un servicio. Elegí un servicio personalizado, y luego seleccioné HBase, HDFS, Hive, Hue, Oozie, Spark, YARN, Zookeeper, que puede satisfacer las necesidades de ejecutar Kylin:
En la página de selección de host, seleccione el servidor CDH:
La página siguiente es la configuración de base de datos que rellene el contenido debe ser consistente con la siguiente figura , el nombre de host es localhost , la base de datos de la colmena, usuario, contraseña son la colmena, base de datos de Monitor de actividad, el usuario, la contraseña se amon, Administrador de informes La base de datos, el usuario y la contraseña son todos rman, la base de datos, el usuario y la contraseña de Oozie Server son todos oozie, y la base de datos, el usuario y la contraseña de Hue son todos hue. :
En la página para configurar los parámetros, configúrelo de acuerdo con la situación real de su disco duro. Tengo suficiente espacio en el directorio / home , por lo que la ubicación de almacenamiento se cambia al directorio / home :
Espere a que comience el servicio:
El inicio de cada servicio se completa:

Configuraciones HDFS

Como se muestra en el cuadro rojo a continuación, hay un problema con el servicio HDFS:
Haga clic en el signo de exclamación rojo en la imagen de arriba para ver los detalles del problema. La siguiente imagen es un problema de copia común:
La operación es como se muestra en la figura siguiente: en la página de configuración de parámetros de HDFS, establezca el valor de dfs.replication en 1 (solo un nodo de datos):
Después de la configuración anterior, el número de copias se ha ajustado a 1, pero el número de copias de los archivos existentes no se ha sincronizado, debe restablecer, iniciar sesión SSH en el servidor CDH;
Ejecute el comando su-hdfs para cambiar a la cuenta hdfs y luego ejecute el siguiente comando para completar la configuración del número de copia:

hadoop fs -setrep -R 1 /

Vuelva a la página web y reinicie el servicio HDFS, como se muestra a continuación:
Después de reiniciar, el servicio HDFS es normal:

Configuraciones de HILO

Los parámetros predeterminados de YARN son muy conservadores, y se deben realizar algunas configuraciones para ejecutar con éxito las tareas de Spark:

Ingrese a la página de administración de YARN;
Como se muestra en la figura a continuación, verifique el valor del parámetro yarn.nodemanager.resource.cpu-vcores , el valor debe ser mayor que 1, de lo contrario, YARN no asigna recursos para realizar la tarea después de enviar la tarea Spark (si su servidor CDH es una máquina virtual, cuando la CPU Cuando un solo núcleo, este parámetro se establecerá en 1, la solución es aumentar el número de núcleos de CPU de la máquina virtual y luego modificar este parámetro):
yarn.scheduler.minimum -ignment-mb : la memoria mínima que se puede aplicar para un solo contenedor, lo configuré en 1G
yarn.scheduler.maximum -ignment-mb : la memoria máxima que se puede aplicar para un solo contenedor, lo configuré en 8G
yarn.nodemanager.resource.memory-mb : la memoria máxima disponible del nodo, lo configuré en 8G
Los valores de los tres parámetros anteriores se basan en el fondo de mi servidor CDH con memoria 32G, ajústelo de acuerdo con sus propios recursos de hardware;
Después de configurar, reinicie el servicio YARN, la operación se muestra en la figura a continuación:

Configuración de chispa (servidor CDH)

Debe preparar un directorio y frascos relacionados en el entorno Spark; de lo contrario, Kylin comenzará con un error ( no se encuentra el mensaje de aviso , configura SPARK_HOME o ejecuta bin / download-spark.sh ), SSH en el servidor CDH como root , ejecute el siguiente comando:

mkdir $SPARK_HOME/jars \
&& cp $SPARK_HOME/assembly/lib/*.jar $SPARK_HOME/jars/ \
&& chmod -R 777 $SPARK_HOME/jars

Inicie Kylin (servidor CDH)

Inicie sesión en el servidor CDH a través de SSH y ejecute su-hdfs para cambiar a la cuenta hdfs;
De acuerdo con la recomendación oficial, primero ejecute el comando para verificar el entorno: $ KYLIN_HOME / bin / check-env.sh
Si la verificación pasa, la salida de la consola es la siguiente:
启动 Kylin ：$ KYLIN_HOME / bin / kylin.sh start
La consola emite el siguiente contenido que indica que Kylin se inició correctamente:

Inicie sesión en Kylin

Navegador para acceder a: http: //192.168.50.134: 7070 / kylin , como se muestra a continuación, la cuenta ADMIN , contraseña KYLIN (número de cuenta y la contraseña son mayúsculas):
El inicio de sesión es exitoso y puede usarlo:

en este punto, la implementación, la configuración y el inicio de CDH y Kylin se han completado, y Kylin está disponible. En el próximo artículo, ejecutaremos la demostración oficial de Kylin en este entorno para experimentar Kylin