Cluster table de migration de la ruche (déclaration de table non intégrée)

récupération de compte de production, nous avons besoin de migrer toutes les tables de données à l'environnement de test! ! !
Des centaines de tables, ne pouvaient pas trouver la construction originale de la déclaration de la table pour se débrouiller seuls pour trouver la solution.
Baidu pour longtemps, a finalement décidé de construire la déclaration de table téléchargée à partir du cluster par le shell:
New list_tables.sql

use db;
show tables;

nouveau show_create.sql

use db;
show create table ${hiveconf:table};

download_test.sh

#! /bin/bash
hive -S -f list_tables.sql > tables_name.txt
cat tables_name.txt | while read eachline
do
    hive -hiveconf table=${eachline} -S -f show_create.sql >> tables_structure.txt
    echo >> tables_structure.txt
done
hdfs dfs -put *.txt /user/asmp/shell
rm -rf tables_name.txt tables_structure.txt

Télécharger la construction finale de la déclaration de la table à tables_structure.txt, après un traitement simple à réaliser le cluster de test.

Remarque:
le nom de la table et le champ ne supporte pas les commentaires chinois COMMENTAIRE « ??? », le meilleur traitement manuel.

Publié 118 articles originaux · louange gagné 25 · Vues 150 000 +

Je suppose que tu aimes

Origine blog.csdn.net/lhxsir/article/details/90448768
conseillé
Classement