SparkStreaming 数据实时处理

版权声明:本文为RoundYuan原创文章,转载请注明出处! https://blog.csdn.net/ProgramMonika/article/details/83374622

SparkStreaming

1、创建一个SparkConf()
2、新建SparkContext
3、新建StreamingContext(SparkContext,time间隔)
4、 |->socketTextStream(“ip”,port)
5、对Dstream进行操作
6、启动Sparkstreaming程序
.start
7、等待优雅的退出

8、ssc.awaitTermination()


最少两个线程 receiver calculater


累加历史数据,就要把中间结果保存起来
两种方式:
1、保存中间结果
val ssc = new StreamingContext(conf, Seconds(5))
ssc.checkpoint("./ck")

2、使用redis
创建关键字、实现累加


猜你喜欢

转载自blog.csdn.net/ProgramMonika/article/details/83374622