edificio colmena (en racimo hadoopHA)

prefacio

De acuerdo a dirigir la construcción de HDFS-HA para construir la colmena, tren Soy más! ! Aquí! ! !

breve introducción

¿Qué es la colmena!

Colmena es un software de almacenamiento de datos, el uso de SQL para promover el volumen general de dispositivos distribuidos almacenados conjunto de datos de leer, escribir y manejar!
SQL (Structured Query Language), utilizando SQL premisa es la necesidad de una mesa!
análisis de datos colmena debe correlacionarse con una estructura de tabla!
Colmena proporciona controladores JDBC y herramienta de línea de comandos que permite a los usuarios conectarse colmena!
Hadoop colmena basado, para analizar la estructura de los datos almacenados en el Hadoop!

características de la colmena

Colmena no es una base de datos relacional
OLTP diseño de la colmena no se basa!
Colmena no es compatible con la consulta a nivel de fila y actualizaciones en tiempo real !
Colmena en una base de datos relacional para almacenar metadatos, almacenamiento de datos en el procesamiento de Hadoop!
diseño OLAP basado en la colmena
Colmena proporciona un tipo SQL lenguaje llamado HQL, sus peticiones sobre!
Colmena es simple, fácil de usar, extensible y escalable!

precauciones

Colmena utilizando HQL (clase SQL), el análisis de la estructura de los datos almacenados en los HDFS!
Colmena de la creación de tablas, bibliotecas, etc., son schame (metadatos), metadatos, almacenamiento (software de gestión de bases de datos relacionales) en RDMS!
esencia de la colmena es permitir a los usuarios utilizar HQL, HQL habla convertida en un MapReduce plantilla, HDF datos sobre la consulta!
análisis de datos colmena se almacena en hdfs, hdfs no soporta escritura aleatoria, acaba de escribir un apoyo adicional, por lo que en la colmena no puede borrar y actualizar , solamente seleccionar e insertar

Condiciones de operación

Hve una aplicación que se ejecuta en Hadoop, es necesario confiar en que hay hadoop , el HDFS (origen de datos).
Colmena viene derby de base de datos relacional de peso ligero, pero hay algunas desventajas. No es compatible con el funcionamiento de varias instancias de una base de datos !

Preparación de la instalación

Así derby debido a defectos en el uso de los demás generales para apoyar el funcionamiento de varias instancias con una biblioteca de base de datos relacional, donde elegí MySQL. ( Haga clic aquí para instalar MySQL)
Después de la instalación de MySQL se ha completado, el usuario root campo de host para modificar% , por lo que el usuario root puede ser capaz de acceder a la base de datos en cualquier host uno.
Meta almacén recomienda crear manualmente la base de datos! MetaStore datos deben ser codificados latin1! ( nombre de la base de datos con las modificaciones como $ HIVE_HOME / conf / colmena site.xml en la configuración)

instalación Colmena

Descomprimir el archivo y puede ser, lo extraemos a / opt / módulo de nombre de directorio cambia a la colmena

Aquí Insertar imagen Descripción

Modificar el archivo de configuración (configuración de metadatos a mysql)

De acuerdo con los parámetros de configuración oficiales documento, copiar los datos en el archivo de sección-site.xml

Path : $ HIVE_HOME / conf / Colmena-la site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
	  <name>javax.jdo.option.ConnectionURL</name>
	  <value>jdbc:mysql://hadoop102:3306/metastore?createDatabaseIfNotExist=true</value>
	  <description>JDBC connect string for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionDriverName</name>
	  <value>com.mysql.jdbc.Driver</value>
	  <description>Driver class name for a JDBC metastore</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionUserName</name>
	  <value>root</value>
	  <description>username to use against metastore database</description>
	</property>

	<property>
	  <name>javax.jdo.option.ConnectionPassword</name>
	  <value>000000</value>
	  <description>password to use against metastore database</description>
	</property>
</configuration>

javax.jdo.option.ConnectionURL: especifica la URL Nota '' signo de interrogación '' frente a la base de datos de nombre ! Y en tercer lugar de montaje correspondiente etapa de preparación! Generalmente modificar el nombre de la biblioteca aquí!
javax.jdo.option.ConnectionUserName: especifica el nombre de usuario!
avax.jdo.option.ConnectionPassword: especificar una contraseña!

prestar atención