SparkStreaming 实时计算广告点击流量实时统计需求技术方案数据库设计

几大模块内容

用户访问session分析模块：会话（session），用户的基础访问行为
页面单跳转化率模块：页面（page），用户的页面访问和页面跳转行为
各区域热门商品统计模块：商品（product），用户的商品点击行为
广告点击流量实时统计模块：广告（ad，advertisement），用户的广告点击行为

广告点击流量实时统计模块

每次点击一个广告以后，通常来说，网站 / app中都会有埋点（前端的应用中，比如JavaScript Ajax；app中的socket网络请求，往后台发送一条日志数据）；日志数据而言，通常，如果要做实时统计的话，那么就会通过某些方式将数据写入到分布式消息队列中（Kafka）；
日志写入到后台web服务器（nginx），nginx产生的实时的不断增加 / 更新的本地日志文件，就会被日志监控客户端（比如flume agent），写入到消息队列中（kafka），我们要负责编写实时计算程序，去从消息队列中（kafka）去实时地拉取数据，然后对数据进行实时的计算和统计。
产品经理、高管可以实时地掌握到公司打的各种广告的投放效果。以便于后期持续地对公司的广告投放相关的战略和策略，进行调整和优化；以期望获得最好的广告收益。

1、所做需求

实现实时动态黑名单机制：将每天广告点击超过100次的用户拉黑
基于黑名单的非法广告流量过滤机制
每天各省各城市各广告点击流量实时统计
统计每天各省top3实时热门广告
统计各广告最近1小时内的点击量趋势:各广告最近1小时内各分钟的点击量
使用高性能方式将实时统计结果写入mysql
实现实时计算程序的HA高可用性（Spark Streaming HA方案）
实现实时计算程序的性能调优（Spark Streaming Performence Tuning方案）

2、技术实现

1、实时计算各batch中的每天各用户对各广告的点击次数

2、使用高性能方式将每天各用户对各广告的点击次数写入MySQL中（更新）

3、使用filter过滤出每天对某个广告点击超过100次的黑名单用户，并写入MySQL中

4、使用transform操作，对每个batch RDD进行处理，都动态加载MySQL中的黑名单生成RDD，然后进行join后，过滤掉batch RDD中的黑名单用户的广告点击行为

5、使用updateStateByKey操作，实时计算每天各省各城市各广告的点击量，到时候更新到MySQL

6、使用transform结合Spark SQL，统计每天各省份top3热门广告：首先以每天各省各城市各广告的点击量数据作为基础，首先统计出每天各省份各广告的点击量；然后启动一个异步子线程，使用Spark SQL动态将数据RDD转换为DataFrame后，注册为临时表；最后使用Spark SQL开窗函数，统计出各省份top3热门的广告，并更新到MySQL中

7、使用window操作，对最近1小时滑动窗口内的数据，计算出各广告各分钟的点击量，并更新到MySQL中

8、实现实时计算程序的HA高可用性

9、对实时计算程序进行性能调优

扫描二维码关注公众号，回复： 4652826 查看本文章

3、数据格式分析以及数据库设计

1、数据格式

timestamp	1450702800
province 	Jiangsu	
city 	Nanjing
userid 	100001
adid 	100001

2、数据设计
①ad_user_click_count

CREATE TABLE `ad_user_click_count` (
  `date` varchar(30) DEFAULT NULL,
  `user_id` int(11) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

②ad_blacklist

CREATE TABLE `ad_blacklist` (
  `user_id` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

③ad_stat

CREATE TABLE `ad_stat` (
  `date` varchar(30) DEFAULT NULL,
  `province` varchar(100) DEFAULT NULL,
  `city` varchar(100) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

④ad_province_top3

CREATE TABLE `ad_province_top3` (
  `date` varchar(30) DEFAULT NULL,
  `province` varchar(100) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8

⑤ad_click_trend

CREATE TABLE `ad_click_trend` (
  `date` varchar(30) DEFAULT NULL,
  `hour` varchar(30) DEFAULT NULL,
  `minute` varchar(30) DEFAULT NULL,
  `ad_id` int(11) DEFAULT NULL,
  `click_count` int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8;