线上部署
1.预处理
a.准备geohash地理位置字典(很长时间设置一遍)
b.id-mapping用户的唯一标识是每天都要去做的!
–在hdfs中创建文字典文件夹
hdfs dfs -mkdir -p /doit12/dicts/area_dicts/
–将字典文件上传
hdfs dfs -put /root/geo_dict.parquet /doit12/dicts/area_dicts/
–在hdfs中创建文三个渠道日志文件夹
hdfs dfs -mkdir -p /doit12/logdata/applog/2020-02-01
hdfs dfs -mkdir -p /doit12/logdata/applog/2020-02-02
hdfs dfs -mkdir -p /doit12/logdata/applog/2020-02-03
hdfs dfs -mkdir -p /doit12/logdata/applog/2020-02-04
hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-01
hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-02
hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-03
hdfs dfs -mkdir -p /doit12/logdata/weblog/2020-02-04
hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-01
hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-02
hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-03
hdfs dfs -mkdir -p /doit12/logdata/wxlog/2020-02-04
–将日志文件上传
cd /root/01; hdfs dfs -put ./* /doit12/logdata/applog/2020-02-01
cd /root/02; hdfs dfs -put ./* /doit12/logdata/applog/2020-02-02
cd /root/03; hdfs dfs -put ./* /doit12/logdata/applog/2020-02-03
–准备上一日的idmapping数据存放的目录
hdfs dfs -mkdir -p /doit12/dicts/idmp/2020-01-31/
–将上一日的字典传入该目录
hdfs dfs -put /root/gro_dict_old_day.parquet /doit12/dicts/idmp/2020-01-31/
–将预处理工程进行参数化改造并打成jar包,并上传到服务器的/root目录下
–开发idmp计算任务shell脚本,并执行
–开发预处理计算任务shell脚本,并执行
