directorio
En primer lugar, instale Zeppelin
En segundo lugar, configure Zeppelin usuario y contraseña
En tercer lugar, el uso de la tabla de consulta CDH colmena Zeppelin
En cuarto lugar, la definición de la colmena intérprete
En quinto lugar, la definición de MySQL intérprete
Zeppelin es un portátil basado en la Web, se puede escribir directamente en el código del navegador para consultar y analizar datos y generar informes o gráficos para hacer basada en datos, documentos interactivos y de colaboración, y puede compartir notas. Zeppelin proporciona una función de conmutación integrado Apache funciones previstas son:
- Introducción automática SparkContext y SqlContext
- sistema de archivos local dependiente o biblioteca de tiempo de ejecución maven cargan desde el paquete frasco.
- Spark cancelar la operación y el indicador del desarrollo del trabajo.
En la visualización de datos, Zeppelin ya contiene algunos gráficos básicos, tales como gráficos de barras, gráficos circulares, gráficos de líneas, gráficos de dispersión. Spark no se limita a la salida de lenguaje de consulta visual ningún apoyo de back-end se puede representar gráficamente.
Zeppelin es el concepto básico de la intérprete, que es una arquitectura plug-in, permitiendo a cualquier idioma o añadido al programa de procesamiento de datos de fondo en forma de plug-Zeppelin. Intérprete permite al usuario especificar un idioma o un procesador de datos. Cada intérprete pertenece intérprete para un grupo, el mismo grupo en la explicación de otra explicación puede ser referenciado, por ejemplo, puede ser explicada por referencia SparkSql intérprete para contexto Spark Spark, ya que pertenecen a la misma intérprete grupo. Corriente Zeppelin ha apoyado muchas explicaciones, como Cassandra, archivo, hbase, Kylin, Phoenix, elasticsearch, Flink, colmena, JDBC, psql, y así sucesivamente. Arquitectura plug-in permite a los usuarios utilizar sus propios datos familiarizado programa de procesamiento de lenguaje en el Zeppelin. Por ejemplo, mediante el uso de código de idioma chispa intérprete% puede ser utilizado Zeppelin en Scala.
En primer lugar, instale Zeppelin
CDH no se integra servicios de Zeppelin, la necesidad de instalar manualmente. Los siguientes son los principales pasos de Zeppelin 0.8.2 montados en el CDH 6.3.1.
1. Descargar el paquete de instalación Zeppelin
Zeppelin ofrece dos fuentes de la instalación y los paquetes binarios requiere que el usuario de compilación del código fuente, los paquetes binarios se pueden ejecutar directamente después de la descompresión. Por simplicidad optar por instalar los paquetes binarios.
Descargar:
http://www.apache.org/dyn/closer.cgi/zeppelin/zeppelin-0.8.2/zeppelin-0.8.2-bin-all.tgz
Guía de instalación:
http://zeppelin.apache.org /docs/0.8.2/quickstart/install.html
https://datacouch.io/install-apache-zeppelin-on-cdh/
2. Extraer el paquete de instalación Zeppelin
mkdir /opt/zeppelin
tar -xvf zeppelin-0.8.2-bin-all.tgz -C /opt/zeppelin3. Configurar Zeppelin
en el directorio del perfil Zeppelin, cree un archivo denominado entorno zeppelin-env.sh en el que el directorio de configuración Hadoop configuración, directorio de ruta de clases hervidero de archivos de configuración, las direcciones IP y números de puerto de servidor Zeppelin.
cd /opt/zeppelin/zeppelin-0.8.2-bin-all/conf
vi zeppelin-env.sh
export HADOOP_CONF_DIR=/etc/hadoop/conf
export ZEPPELIN_INTP_CLASSPATH_OVERRIDES=/etc/hive/conf
export ZEPPELIN_ADDR=172.16.1.126
export ZEPPELIN_PORT=90914. Modificar la autoridad
a Zeppelin permisos del directorio de instalación se establece en 777.
chmod -R 777 /opt/zeppelin5. Iniciar Zeppelin
cd /opt/zeppelin/zeppelin-0.8.2-bin-all
./bin/zeppelin-daemon.sh startZeppelin se ha completado hasta ahora instalado en la CDH, el Zeppelin se puede abrir desde un navegador: http: //172.16.1.126: 9091
En segundo lugar, configure Zeppelin usuario y contraseña
Zeppelin utilizando la anónima predeterminada de acceso de los usuarios, ningún nombre de usuario y contraseña, pero puede aumentar la función de autenticación para la configuración sencilla Zeppelin. shiro.ini archivo de inicio de sesión y los permisos de gestión multi-usuario, puede editar este archivo, establecer el nombre de usuario y la contraseña de inicio de sesión zeppelín de acuerdo a sus necesidades.
cd /opt/zeppelin/zeppelin-0.8.2-bin-all/conf
cp shiro.ini.template shiro.ini
vi shiro.ini
...
[users]
# List of users with their password allowed to access Zeppelin.
# To use a different strategy (LDAP / Database / ...) check the shiro doc at http://shiro.apache.org/configuration.html#Configuration-INISections
# To enable admin user, uncomment the following line and set an appropriate password.
#admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2
...La línea de comentario administrador borra. Igual en ambos lados, respectivamente, para el nombre de usuario y contraseña, creada después de la coma es la autoridad que aquí se exponen a admin. Después de guardar el zeppelín configuración y reiniciar el sistema:
/opt/zeppelin/zeppelin-0.8.2-bin-all/bin/zeppelin-daemon.sh startLuego ingrese Zeppelin parte posterior, hogar puede llegar a ser una página de bienvenida, tiene que firmar con el fin de utilizar Zeppelin, que se muestra en la Figura 1.
En tercer lugar, el uso de la tabla de consulta CDH colmena Zeppelin
Después de completar los pasos anteriores, puede crear una nueva nota, la ejecución de la consulta SparkSQL mesa colmena no requiere ninguna configuración adicional, como se muestra en la figura.
Necesario tener en cuenta es que, Spark Zeppelin 0.8.2 y 6.3.1 CDH que se han instalado los problemas de compatibilidad de versión. por lo tanto se usa en el presente documento chispa viene Zeppelin, Maestro chispa predeterminada local, como se muestra en la figura.
En cuarto lugar, la definición de la colmena intérprete
Aunque no se puede utilizar directamente CDH Spark cúmulo consulta directamente la tabla colmena, pero se puede personalizar un intérprete de JDBC-colmena, la conexión Zeppelin colmena al servidor como cliente. Mientras el motor de ejecución de la colmena configurado para Spark, puede utilizar CDH Spark consultas indirectas colmena. Por cierto, cuando los dos partidos CDH 6.3.1 Spark Colmena y servicios, motor de ejecución de la colmena provocará automáticamente configure.
Intérpretes en la página clic "+ Crear" para crear un nuevo intérprete, intérprete JDBC Nombre colmena de entrada, el grupo intérprete seleccionado, las propiedades debe ser modificada y default.url default.driver sólo dos, como se muestra en la figura.
A continuación, añadir dependencias, como se muestra en la figura.
Tengo que añadir aquí el siguiente paquete frasco para llevar a cabo la consulta normal de la colmena:
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hive/lib/hive-jdbc-2.1.1-cdh6.3.1.jar
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hadoop/hadoop-common-3.0.0-cdh6.3.1.jar
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hive/lib/hive-service-2.1.1-cdh6.3.1.jar
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hive/lib/hive-service-rpc-2.1.1-cdh6.3.1.jar
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hive/lib/hive-common-2.1.1-cdh6.3.1.jar
/opt/cloudera/parcels/CDH-6.3.1-1.cdh6.3.1.p0.1470567/lib/hive/lib/hive-serde-2.1.1-cdh6.3.1.jarDespués de todas las modificaciones que se llevan a cabo, haga clic en Guardar para guardar la configuración. Aquí puede crear una nueva nota a cabo colmena preguntó, como se muestra en la figura.
En quinto lugar, la definición de MySQL intérprete
La visualización de datos necesita muy común, si las bases de datos relacionales de uso común, tales como MySQL también se pueden utilizar Zeppelin consulta y mostrar los resultados gráficamente, puede controlar las consultas más comunes con un conjunto unificado de los sistemas de visualización de datos. sí Zeppelin, sin traductor MySQL, intérprete, pero soporta JDBC grupo, siempre y cuando no es por lo general un paquete JAR correspondiente controlador JDBC, puede crear fácilmente una nueva intérprete.
Intérpretes en la página clic "+ Crear" para crear un nuevo intérprete, MySQL entrada intérprete Nombre, grupo intérprete seleccionado JDBC, y luego configurar los atributos relevantes. Sólo necesitará establecer default.driver, default.user, default.password, los valores default.url de cuatro propiedades el caso más simple, el conductor respectivamente, conectado de nombre de usuario MySQL, contraseña y la URL, como se muestra en la figura.
A continuación, introduzca el artefacto dependencias MySQL formato de conector paquete JAR "MySQL: piloto Nombre: número de versión", como se muestra en la figura.
Haga clic en Guardar para guardar la configuración. En este momento, la página se vea el intérprete intérprete de MySQL. Crear una nota a continuación, utilizando un intérprete como MySQL, mesa INFORMATION_SCHEMA.TABLES de consulta, como se muestra en la figura.
: Si el intérprete es similar al siguiente error
Cannot fetch dependencies for mysql:mysql-connector-java:5.1.38Probablemente porque biblioteca central repositorio de Zeppelin no se puede conectar, hay dos soluciones. En primer lugar, el relleno en el paquete frasco artefacto local en el camino, tales como:
/usr/share/java/mysql-connector-java.jarLa segunda manera es configurar el archivo zeppelin-env.sh ZEPPELIN_INTERPRETER_DEP_MVNREPO variable de entorno, añadir una dirección de repositorio accesible, tales como:
export ZEPPELIN_INTERPRETER_DEP_MVNREPO=http://insecure.repo1.maven.org/maven2/Lee las instrucciones sobre el tema: https://stackoverflow.com/questions/59964426/zepplin-mysql-interpreter-error-cannot-fetch-dependencies-for-mysqlmysql-conne
