大数据项目实战之电信大数据项目

大数据项目实战之电信大数据项目【待完善】

生产日志->kafka采集->kafka API的控制台展示 ->HBASE(创建命名空间,创建表)->TableMapper ->Reducer
->Mysql(每天分析的数据,都要覆盖之前的数据) –》Web Server-》WebFont/Mobile

caller callee buildTime duration
最终结果:
1.按照年,月,日,统计通话次数
2.按照年,月,日,统计通话时长

一个大的工程,都有一个模块(Modules),这些模块之间可以独立运行。

MapReduce中的Mapper类
01.映射输入的键值对到一组中间状态的键值对。==>将输入状态的键值对变换成中间状态的键值对。
02.Maps任务各不相同,它们都是将输入的记录转换成中间状态记录。已经转换成功的中间状态记录不需要和输入记录类型相同。一个输入的键值对可能映射到0到多个输出的键值对。

采取一个MapReduce分析多个业务指标的方式来进行任务。
业务指标:
01.用户每天主叫通话个数统计,通话时间统计
02. 用户每月通话记录统计,通话时间统计
03.用户之间的亲密关系统计(通话次数与通话时间体现用户亲密关系)

将分析的结果存放在mysql中。
01.contacts:
id,自增主键,
telephone Number,手机号码
name,联系人姓名

02.call

2、自定义输出格式类
3、写mapreduce实现类

猜你喜欢

转载自blog.csdn.net/liu16659/article/details/81133090
今日推荐