1
Documentos escritos en Objective
Aquí asumimos un escenario, es necesario migrar a CDH5.12 CDH6.2, CDH5.12 y CDH6.2 son dos grupos distintos, nuestro trabajo es principalmente hdfs datos y varios metadatos para migrar de CDH5.12 Artículo CDH6.2, HDFS no discute la migración de migración de datos no discute otros metadatos, como CM o guardia, y sólo se refiere a la migración de la colmena metadatos. El problema aquí es la Colmena CDH5.12 es de 1,1, mientras que CDH6.2 Colmena ya está en 2.1.1, los resultados de la actualización en una versión grande de la colmena almacenada en MySQL estructura del esquema 's ha cambiado por completo, por lo que se CDH5.12 después de importar los datos en la CDH6.2 MySQL MySQL, necesidad de actualización del esquema de metadatos de la colmena. En primer lugar Fayson construirá dos grupos incluyen CDH5.12 y CDH6.2, de verdad, la colmena es nuestro siguiente simulación, creada contiene particiones, ver y UDF, buena fácil verificar que la migración puede CDH6.2 el funcionamiento normal. Específicamente, ¿cómo se describirá la migración Fayson en detalle en el siguiente artículo.
- Entorno de prueba
1.Redhat7.4
2.CDH6.2.0
cuenta de administrador 3.MySQL
2
Migración Preparación
1. Preparar dos grupos, uno CDH5.12.0, uno es CDH6.2.0.
2. Preparar los mismos datos de prueba en dos clusters
3. Crear una tabla Colmena prueba bien utilizado en la agrupación CDH5.12.0
Crear dos bases de datos
Cree dos tablas de datos listos para prueba de carga
Cargar datos en dos tablas
Creación de un conjunto de datos de prueba y carga la tabla de particiones
Crear una prueba con dos punto de vista
web_returns Tabla vista de una primera fila de datos de formación de
Ver las estadísticas de paquetes forma tabla de particiones
Adición de una UDF como una prueba
4. CDH5.12.0 deriva metadatos clúster Colmena
3
Pasos de la migración
1. Los metadatos en el paso anterior en CDH6.2.0 en MySQL
2. Realizar una actualización del clúster metadatos Colmena en CDH6.2.0
Ver la versión colmena CDH5.12.0 pasos correspondientes necesario actualizar CDH6.2.0 correspondiente versión de la colmena
La ejecución de la orden de cinco SQL antes mencionado
actualización de metadatos colmena es completa
3. Realizar las actualizaciones de metadatos de la colmena
4. error de servicio de actualización de la colmena, no puede encontrar OWNER_TYPE mesa cucharada de campo
El yuan colmena en la base de datos MySQL, ejecute la siguiente instrucción después de la reanudación del servicio de la colmena, un tiempo de servicio
alter table TBLS add column OWNER_TYPE varchar(10) CHARACTER SET latin1 COLLATE latin1_bin DEFAULT NULL after OWNER;
update TBLS set OWNER_TYPE = 'USER';La migración de datos en la Tabla 5. El análogo de HDFS Colmena
Crear un directorio de dos bases de datos
Crear la prueba de la tabla de directorio
Toda la tabla de datos correspondiente al directorio de carga próxima HDFS
6. La misma consulta en el C5 y C6 en para ver si los resultados son consistentes
Ver tabla web_returns y web_sales tabla:
select count(*) from web_returns;CDH5.12.0
CDH6.2.0
select count(*) from web_sales;CDH5.12.0
CDH6.2.0
select * from web_sales limit 1;
select * from web_returns limit 1;CDH5.12.0
CDH6.2.0
Ver la tabla de particiones test_partition
select count(*) from test_partition where year = 2019;CDH5.12.0
CDH6.2.0
Ver vista
select * from group_by_year_vw;CDH5.12.0
CDH6.2.0
select * from records;CDH5.12.0
CDH6.2.0
Ver UDF
select parse_date(dates,'yyyy-MM-dd HH:mm:ss') from test_udf;CDH5.12.0
CDH6.2.0
En la operación descrita anteriormente, la misma operación consistente con los resultados obtenidos en dos clusters.
Documento de Referencia:
https://www.cloudera.com/documentation/enterprise/latest/topics/cdh_ig_hive_schema_tool.html4
resumen
1. Comando SchemaTool -dbType MySQL -upgradeSchemaFrom <versión> -dryRun -password <db_user_pswd> -username <db_user_name>, mantenerse al día con la actualización a la versión después de los parámetros upgradeSchemaFrom, no está aquí para llenar la versión CDH, pero una versión de la colmena como CDH6.2.0 Colmena versión 2.1.1 correspondiente, este comando muestra la versión de destino de actualización para las sentencias SQL se deben realizar de forma manual para poder llevar a cabo uno puede ver todo el proceso de actualización.
2. Después de haber actualizado y mejorado los metadatos de la colmena, se produjo un error de servicio de la colmena, ha escrito en un documento se puede observar en la tabla de registro se cucharadas Falta un campo, que puede ser debido a la estructura del proceso de actualización de la tabla no es actualización correcta causado, añadiendo a la falta de OWN_TYPE en la tabla cucharadas.
3. Después de la migración exitosa Colmena metadatos a CDH6.2, sabemos metadatos Colmena almacenada en una tabla como la información de ubicación correspondiente hecho o CDH5.12 en ruta HDFS, aunque esto hará que migra con éxito yuanes Colmena datos, pero todavía no puede acceder a los datos en HDFS CDH6.2 la mesa de la colmena, es necesario que siga los pasos descritos anteriormente en este artículo de Cloudera Director de actualizar Colmena metadatos, este paso se habilita clúster HDFS HA en la misma CDH con nosotros o desactivar la HA, actualizaciones de metadatos de la colmena como verdad.
4. El presente documento de datos de metadatos Colmena migrar sólo el analógicas para migrar hdfs mismo directorio, tales patrones de migración, tablas de datos y los datos de los directorios se migraron después y antes, después de la verificación puede ver, la tabla no eliminación de datos.
