目录
本篇文章记录广告点击流量实时统计-需求分析、技术方案设计以及数据设计。
需求分析
- 实现实时的动态黑名单机制：将每天对某个广告点击超过100次的用户拉黑
- 基于黑名单的非法广告点击流量过滤机制
- 每天各省各城市各广告的点击流量实时统计
- 统计每天各省top3热门广告
- 统计各广告最近1小时内的点击量趋势：各广告最近1小时内各分钟的点击量
- 使用高性能方式将实时统计结果写入MySQL
- 实现实时计算程序的HA高可用性（Spark Streaming HA方案）
- 实现实时计算程序的性能调优（Spark Streaming Performence Tuning方案
技术方案设计
- 实时计算各batch中的每天各用户对各广告的点击次数
- 使用高性能方式将每天各用户对各广告的点击次数写入MySQL中（更新）
- 使用filter过滤出每天对某个广告点击超过100次的黑名单用户，并写入MySQL中
- 使用transform操作，对每个batch RDD进行处理，都动态加载MySQL中的黑名单生成RDD，然后进行join后，过滤掉batch RDD中的黑名单用户的广告点击行为
- 使用updateStateByKey操作，实时计算每天各省各城市各广告的点击量，并时候更新到MySQL
- 使用transform结合Spark SQL，统计每天各省份top3热门广告：首先以每天各省各城市各广告的点击量数据作为基础，首先统计出每天各省份各广告的点击量；然后启动一个异步子线程，使用Spark SQL动态将数据RDD转换为DataFrame后，注册为临时表；最后使用Spark SQL开窗函数，统计出各省份top3热门的广告，并更新到MySQL中
- 使用window操作，对最近1小时滑动窗口内的数据，计算出各广告各分钟的点击量，并更新到MySQL中
- 实现实时计算程序的HA高可用性
- 对实时计算程序进行性能调优
数据表设计
ad_user_click_count //用户点击广告表
CREATE TABLE `ad_user_click_count` ( `date` varchar(30) DEFAULT NULL, `user_id` int(11) DEFAULT NULL, `ad_id` int(11) DEFAULT NULL, `click_count` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
ad_blacklist //用户黑名单
CREATE TABLE `ad_blacklist` ( `user_id` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
ad_stat //广告状态表
CREATE TABLE `ad_stat` ( `date` varchar(30) DEFAULT NULL, `province` varchar(100) DEFAULT NULL, `city` varchar(100) DEFAULT NULL, `ad_id` int(11) DEFAULT NULL, `click_count` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
ad_province_top3 //各省份广告top3表
CREATE TABLE `ad_province_top3` ( `date` varchar(30) DEFAULT NULL, `province` varchar(100) DEFAULT NULL, `ad_id` int(11) DEFAULT NULL, `click_count` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
ad_click_trend //广告趋势表
CREATE TABLE `ad_click_trend` ( `date` varchar(30) DEFAULT NULL, `ad_id` int(11) DEFAULT NULL, `minute` varchar(30) DEFAULT NULL, `click_count` int(11) DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
广告点击流量实时统计模块
电商用户行为分析大数据平台
- 用户访问session分析模块：会话（session），用户的基础访问行为
- 页面单跳转化率模块：页面（page），用户的页面访问和页面跳转行为
- 各区域热门商品统计模块：商品（product），用户的商品点击行为
- 广告点击流量实时统计模块：广告（ad，advertisement），用户的广告点击行为
电商网站 / app（移动互联网），用户行为的方方面面
这个项目，基本上，内容还是非常丰富的；无论是技术含量，还是业务含量；技术上来说，对实际项目进行过改造和整合，比一般的生产环境中的真实项目的技术含量，还要高；业务上来说，除了对一些数据格式和琐碎的业务细节，进行了必要的简化（对大家学习没有任何意义），表中的字段（需要使用的），脏数据（清洗），业务的真实性和复杂性是非常高的，基本上就是完全的完整的一个企业真实项目；
实际企业中的讲师做过的这个项目，模块会达到几十个（二三十个）；各个模块之间，做多了会发现，就是业务上有一些不同；其实技术上，基本都涵盖在咱们这个项目课程中了；技术给掌握了，去做任何用户行为分析类的项目，或者是业务需求，都ok，都没有问题的；本项目课程中，涵盖的4个模块，都是非常经典的4个模块
广告点击流量实时统计模块
网站 / app，是不是通常会给一些第三方的客户，打一些广告；也是一些互联网公司的核心收入来源；广告在网站 / app某个广告位打出去，在用户来使用网站 / app的时候，广告会显示出来；此时，有些用户可能就会去点击那个广告。
广告被点击以后，实际上，就是要针对这种用户行为（广告点击行为），实时数据，进行实时的大数据计算和统计。
每次点击一个广告以后，通常来说，网站 / app中都会有埋点（前端的应用中，比如JavaScript Ajax；app中的socket网络请求，往后台发送一条日志数据）；日志数据而言，通常，如果要做实时统计的话，那么就会通过某些方式将数据写入到分布式消息队列中（Kafka）；
日志写入到后台web服务器（nginx），nginx产生的实时的不断增加 / 更新的本地日志文件，就会被日志监控客户端（比如flume agent），写入到消息队列中（kafka），我们要负责编写实时计算程序，去从消息队列中（kafka）去实时地拉取数据，然后对数据进行实时的计算和统计。
这个模块的意义在于，让产品经理、高管可以实时地掌握到公司打的各种广告的投放效果。以便于后期持续地对公司的广告投放相关的战略和策略，进行调整和优化；以期望获得最好的广告收益。