Spark Structured Streaming、Kafak整合

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq_34531825/article/details/72765807

Structured Streaming

SBT 依赖包：

groupId = org.apache.spark
artifactId = spark-sql-kafka-0-10_2.11
version = 2.1.1

在Spark2.x中，Spark Streaming获得了比较全面的升级，称为Structured Streaming，和之前的很不同，功能更强大，效率更高，跟其他的组件整合性也更好。

Spark 2.X提出了continuous application（连续的应用程序）的概念，非常重大。

首先，也是最重要的，在2.x中，提出了一个叫做continuous applications连续应用程序的概念。
如下图所示，数据从Kafka中流进来，通过ETL操作进行数据清洗，清洗出来作为目标数据进行进一步处理，可能是机器学习，也可能是交互式查询，也有可能直接把数据存在数据库或者其他外部存储设备，也有可能是直接交给已有的应用程序。也就是说SparkStreaming从获得数据后，能把全部处理环节串联起来，称之为端到端(End to end)处理!!!

#
http://spark.apache.org/docs/latest/streaming-kafka-0-10-integration.html

groupId = org.apache.spark
artifactId = spark-sql-kafka-0-10_2.11
version = 2.1.1

http://blog.csdn.net/javastart/article/details/50942397

未完成待续

參考文献：
【1】http://spark.apache.org/docs/latest/structured-streaming-kafka-integration.html 官网简单介绍
【2】http://www.cnblogs.com/dt-zhw/p/5597353.html Spark定制班第29课：深入理解Spark 2.x中的Structured Streaming内幕
【3】https://www.iteblog.com/archives/1322.html 实际较详细的例子
【4】https://github.com/ansrivas/spark-structured-streaming/blob/master/src/main/scala/com/kafkaToSparkToCass/Main.scala
代码参考