Porque es necesario para poner a prueba las pruebas ambientales lógica tabla colmena, pero probar el clúster no es tablas y datos relacionados,
por lo que el uso de la forma más simple: para descargar archivos desde el clúster de producción, y luego subir a la prueba de tono por grupos tonalidad
sin embargo. .
tabla colmena se divide y cada siguiente partición son N varios archivos pequeños, por lo que las secuencias de comandos shell de escritura:
#! /bin/bash
mkdir -p ./tmp/table
rssc_array=("201901" "201902" "201903" "201904" "201905")
for i in ${rssc_array[*]}
do
hdfs dfs -get /user/hive/table/partition_brand=vw/partition_date=$i ./tmp/table/
done
zip -r twdwv1.zip ./tmp/table/
hdfs dfs -put twdwv1.zip /user/asmp/sql/
rm -rf ./tmp/table
echo "File successfully deleted"
for i in ${rssc_array[*]}
do
hdfs dfs -get /user/hive/table/partition_brand=skd/partition_date=$i ./tmp/table/
done
zip -r twdskd1.zip ./tmp/table/
hdfs dfs -put twdskd1.zip /user/asmp/sql/
rm -rf ./tmp/wd_tt_workitem_detail
rm -f twdskd1.zip
echo "File successfully deleted2"
(1) de acuerdo con la partición de la marca en dos archivos comprimidos para descargar, y subirlo a HDFS
(2) de acuerdo con una serie de archivos de descarga personalizados en diferentes fechas
y luego descargar los archivos comprimidos a una tonalidad locales, después de la descompresión subido al cúmulo de pruebas
, finalmente, no se olvide de uso comando de la tabla MSCK para reparar la estructura de particiones:
Colmena> MSCK tabla nombre_tabla reparación;
