Offline Big Data project process

MapReduce
	数据清洗
hive
textfile格式
create table 表名(
	a string ,
	b string 
)
row format delimited 
fields terminated by "指定分隔符"
stored as textfile;
load data local inpath '本地路径' into table '表名'
orc格式
create table 表名(
	a string ,
	b string 
)
row format delimited 
fields terminated by "指定分隔符"
stored as orc;
insert into table orc表名 select * from 原始表名;
hql语句执行方式
hive -e "select * from 表名 where 条件" > 写入文件的路径

与hbase 关联
1.创建hive中 的外部表
create external table 表名(
	a string ,
	b string 
)
row format delimited 
fields terminated by "指定分隔符"
stored as textfile;

load data local inpath '本地路径' into table '表名'
2.hive2hbase
映射表示例
create table hbase中的表名(
a string,
b string
)  
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'  
with serdeproperties("hbase.columns.mapping" = ":key,列族1:字段1,列族1:字段1") 
tblproperties("hbase.table.name" = "hbase中的表名");

insert overwrite table hbase中的表名 select * from hive中的外部表名
4.phoenix
5.web页面