一.数据处理架构

如图，数据流转主要有两条线，实时计算流程和离线计算流程

实时计算：事件(hive表)----(使用dw-event-to-collector.sh发送事件)---->收数工具collector-------->flume分发-------->kafka缓存-------->flink计算-------->hbase-------->elasticsearch
离线计算：事件(hive表)----(主动读hive表)---->hdfs-------->flink计算-------->hbase-------->elasticsearch

二.实时计算过程中工具使用

1.hive

进入hive数仓: hive
查看当前数据库: show databases;
切换到cdp库: use cdp;
创建表(SMH前端的导出事件配置中有自动生成的语句):
CREATE TABLE IF NOT EXISTS tablename(
uid string,
event_time bigint,
touch_point_id string
)partitioned by (process_date string)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;

查看建表命令: show create table c8_shopping;
查看当前表: show tables;
查看表中列名: desc tablename;
把事件插入对应hive表中: load data local inpath "/home/hadoop/shopping.txt" into table tablename partition(process_date="2019-07-22");
查询表中数据: select * from tablename where process_date = '2019-04-26' limit 10;
查询前执行该命令列名和数据一起显示: set hive.cli.print.header=true;
删除表中数据: truncate table tablename;
删除表: drop table tablename;

2.kafka

查询kafka消费情况，路径：/home/hadoop/kafka_2.11-0.10.2.0/bin

命令： sh kafka-console-consumer.sh --topic event_c8 --from-beginning --bootstrap-server 172.00.0.000:9092 > event_c8

3.flink

重启flink任务，路径：/home/hadoop/cdp-etl-jobs/bin/job/realtime
关闭flink任务：yarn application -kill 任务id
启动flink任务：sh indexing-trait.sh sh calculate-trait.sh

4.hbase

进入hbase：hbase shell
查看已存在的表：list
查询某特性的值：scan 'trait_c8',{COLUMNS=>['d:t1425','d:uid']}
查询某uid删除状态：scan 'trait_c8', {COLUMNS => 'd:delete_status',FILTER => "ValueFilter(=,'substring:true')"}
查询某个uid： get 'trait_c8','fff144eb653e7348f051307cde7db169'
删除表中数据：truncate "tablename"; flush "tablename";
删除表：disable table; drop table;
hbase全量同步到es：cdp/cdp-etl-jobs/bin/job/batch/trait-crowd-calc.sh -calcType sync 增量为：incr

5.elasticsearch

查询工具可以使用kibana或者elasticsearch head插件，常用命令：

查询特性：
GET /trait_c39/trait_c39/_search?size=1000
{
"query": {
"match_all": {}
},
"_source": ["t596"]
}
查询人群：
GET /trait_c39/trait_c39/_search?size=1000
{
"query": {
"match_all": {}
},
"post_filter": {"term": {
"crowds_code": "cr197"
}}
}
查询某个uid：
GET /trait_c33/trait_c33/uid-1

三.离线计算过程中工具使用

1.hdfs

前端页面查询地址：http://172.23.x.xxx:50070/explorer.html#/cdp/warehouse

查看目录：hadoop fs -ls /cdp/warehouse/c8/offline/

查看文件：hadoop fs -cat /cdp/warehouse/c8/offline/shopping.txt

下载数据：hadoop fs -get /cdp/warehouse/c8/offline/

删除文件：hadoop fs -rm -r /cdp/warehouse/c8/offline/shopping.txt

2.azkaban

cdp-batch-process 离线批处理数据
dw-etl-process 数仓etl开始
dw-event-to-hdfs 主动读取事件导入到hdfs
user-delete 用户删除
event-ub-to-hbase 发送事件到hbase，用于用户档案数据展示
common-jobs-config 生成作业配置信息,地址:/home/hadoop/cdp-etl-jobs/jobs-tmp/codes/
ALL_EVENT_TRAIT 所有事件到达时触发的特性list
ALL_ACC_TRAIT 除timeline外,所有事件触发类的累加特性list
ALL_REF_TRAIT 所有特性变化触发的特性list
ALL_CROWD 渠道内全量人群list
CALC_EVENT_TRAIT 事件到达时触发且需重新计算的特性list
CALC_TRAIT 特性变化时触发且需重新计算的特性list
CALC_CROWD 当天需要计算的人群list,包括重新计算的人群,符合周期的人群
CLEAN_CROWD 需删除的人群list
CLEAN_TRAIT 需删除的特性list
EXPORT_TRAIT idmapping时需要导出的特性list
CANCELED_TRAIT 取消授权影响的特性list
event-trait-calc-full 全量重跑数据,traitupdate判断历史最新数据赋值给特性
event-trait-calc-incr 计算每日数仓增量的数据,traitupdate只发送当天的数据
event-trait-calc-init 对事件到达时触发特性的重新计算,traitupdate只发送当天的数据
trait-crowd-calc 计算人群,对特性变化时触发的特性重新计算，timeline类型特性,更新节点管理员/运营专员数据
id-mapping-clean 删除作废的mapping关系
id-mapping-init idMapping初始化和建立mapping关系
id-mapping-copy idMapping后的特性拷贝
report-crowd-count 更新人群数量到mysql，cdp_crowd表crowd_scale列
report-metric 定时计算所有人群长期跟踪指标及全渠道的看板指标
cdp-batch-process
cdp-clean-jobs 清除临时文件，人群导出过期文件
crowd-export 人群导出
init-channels 初始化渠道
trait-import 特性导入

大数据测试中一些工具使用