HBase:项目之电信信号强度诊断介绍(第四阶段：实时数据生成及计算)

实时数据生成及计算

目标：实现实时新增数据的添加、实时数据解析、实时数据上传。

1. Mysql 数据写入
2. canal 解析mysql实时数据写入本地
3. Flume收集数据将数据上传至集群
4. SparkStreaming 实时计算

---

本阶段为实时业务。项目实时数据源是mysql实时新增的数据，系统需要将mysql的新增数据添加到大数据平台中，一份用于离线计算、一份用于实时计算。
实时业务需要实时计算出networkqualityinfo、cell_strength、data_connection三张表实时的数据总条数，并将计算后的总数写入mysql结果数据库。前端界面每隔1秒中到数据库查询一次并显示。

实时业务所需的数据来源需要编写代码实时向开启了binlog的mysql数据库中添加数据。新数据的添加会记录到相应的日志中。Canal实时解析日志中数据的所有变化，将新增的数据解析出来，保存到本地。
Flume监控读取Canal写入本地的数据，将数据写入kafka一份，用于实时业务的计算。写入HDFS一份，用于离线数据的计算。

实时数据成产

目标：实现实时数据的生产

开启mysql 的binlog功能

查看mysql是否开启binlog

show variable