sparkStreaming实时处理

分析案例:

 需求:统计主站每个(指定)课程访问的客户端、地域信息分布
地域:ip转换   Spark SQL项目实战
客户端:useragent获取  Hadoop基础课程

==> 如上两个操作:采用离线(Spark/MapReduce)的方式进行统计

实现步骤:
课程编号、ip信息、useragent

进行相应的统计分析操作:MapReduce/Spark

项目架构
日志收集:Flume
离线分析:MapReduce/Spark

统计结果图形化展示

实时流处理在企业中的应用:

     电信行业:1.流量情况短信通知

                      2.恶意软件清理

     电商行业:1.双十一大屏

                      2. 当输入A商品时,会实时的将相关的B商品推送出来

      ...............



     

      


猜你喜欢

转载自blog.csdn.net/qq_35394891/article/details/80285997