关于运行官方Spark Streaming 实例代码的坑

在运行实例代码时候,在命令行中log4j的日志中,有时会出现这样的日志,没有warning也没有error,但就是出现不了结果。

    18/06/17 21:12:09 INFO scheduler.JobScheduler: Added jobs for time 1420953009000 ms
    18/06/17 21:12:10 INFO scheduler.JobScheduler: Added jobs for time 1420953010000 ms
    18/06/17 21:12:11 INFO scheduler.JobScheduler: Added jobs for time 1420953011000 ms
    18/06/17 21:12:12 INFO scheduler.JobScheduler: Added jobs for time 1420953012000 ms
    18/06/17 21:12:13 INFO scheduler.JobScheduler: Added jobs for time 1420953013000 ms
    18/06/17 21:12:14 INFO scheduler.JobScheduler: Added jobs for time 1420953014000 ms
    18/06/17 21:12:15 INFO scheduler.JobScheduler: Added jobs for time 1420953015000 ms
    18/06/17 21:12:16 INFO scheduler.JobScheduler: Added jobs for time 1420953016000 ms
    18/06/17 21:12:17 INFO scheduler.JobScheduler: Added jobs for time 1420953017000 ms
    18/06/17 21:12:18 INFO scheduler.JobScheduler: Added jobs for time 1420953018000 ms
    18/06/17 21:12:19 INFO scheduler.JobScheduler: Added jobs for time 1420953019000 ms
    18/06/17 21:12:20 INFO scheduler.JobScheduler: Added jobs for time 1420953020000 ms
    18/06/17 21:12:21 INFO scheduler.JobScheduler: Added jobs for time 1420953021000 ms
    18/06/17 21:12:22 INFO scheduler.JobScheduler: Added jobs for time 1420953022000 ms
    18/06/17 21:12:23 INFO scheduler.JobScheduler: Added jobs for time 1420953023000 ms
    18/06/17 21:12:24 INFO scheduler.JobScheduler: Added jobs for time 1420953024000 ms
    18/06/17 21:12:25 INFO scheduler.JobScheduler: Added jobs for time 1420953025000 ms
    18/06/17 21:12:26 INFO scheduler.JobScheduler: Added jobs for time 1420953026000 ms
    18/06/17 21:12:27 INFO scheduler.JobScheduler: Added jobs for time 1420953027000 ms
    18/06/17 002112:28 INFO scheduler.JobScheduler: Added jobs for time 1420953028000 ms 

由日志中可以看到,一直在执行add job的过程,也就是说一直在执行receiver的过程,但我们接收到的数据实际上是没有执行的,再看官方文档   传送门


翻译过来的意思是:

在本地运行Spark Streaming程序时,不要使用local”或“local[1]”作为主节点URL。这两种方法都意味着只能使用一个线程在本地运行任务。如果你用基于receiver 的输入dStream(例如套接字、KafkaFlume),然后使用单个线程来运行receiver ,不留下任何线程来处理接收到的数据。因此,当你在本地跑程序时,始终使用local[n]”作为主节点URL,其中n>接收器要运行的数量(有关如何设置主机的信息,请参见Spark Properties)。

将逻辑扩展到集群上运行,分配给Spark Streaming应用程序的核心数量必须大于接收者的数量。否则,系统将只接收数据,但不会处理它。

所以我们只要将代码中

val sparkConf = new SparkConf().setAppName("NetworkWordCount") 

改为

val sparkConf = new SparkConf().setAppName("NetworkWordCount").setMaster("local[2]")

即可。

猜你喜欢

转载自blog.csdn.net/qq_38440882/article/details/80962629