脚本批量生成hbase插入脚本

数据插入HBase步骤:
1. 造好的数据复制到"input_data.txt"这个文档
2. 双击执行"change_data2hbase.py"
3. 观察到"output_data.txt"的修改日期更新为最新即可
4. 复制"output_data.txt"的内容,进入开发或者UAT环境的命令行,执行"hbase shell"
5. 将"output_data.txt"的内容粘贴至hbase shell的命令行中,等待完成即可

change_data2hbase.py脚本如下:

def clean_coscp(s):
   # s2
= s.replace("put\t", "put '").replace("db_name\t", "db_name:").replace("F\t", "F:").replace("\t", "','").replace("\n", "'\n") if (s2[-1] != "\n"): s2 = s2 + "'" s2 = s2 + "\n" return s2 input_file_name = "input_data.txt" output_file_name = "output_data.txt" s = open(input_file_name).read() ss = clean_coscp(s) s2 = open(output_file_name, "w") s2.write(ss) s2.close()

input_data.txt 编辑格式如下:(可从excel汇总批量复制生成)

put db_name table_name 33339681431_99999 F H_NATIONALITY_EM 中国
put db_name table_name 33339681431_99999 F H_RACE_EM 汉族

猜你喜欢

转载自www.cnblogs.com/cailingsunny/p/11420839.html
今日推荐