flink流计算随笔（7）

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/u010255642/article/details/82930241

Flink中的DataStream程序是在数据流上实现转换的常规程序(例如，过滤、更新状态、定义窗口、聚合)。数据流最初是从各种来源(例如，消息队列、套接字流、文件)创建的。结果通过sink返回，它可以将数据写入文件或写入标准输出(例如命令行终端)。Flink程序在各种上下文中运行，独立运行，或嵌入到其他程序中。执行可以在本地JVM中执行，也可以在许多机器的集群中执行。
下面的程序是一个完整的流窗口单词计数应用程序的工作示例，它在5秒的窗口中对来自web套接字的单词进行计数。您可以复制并粘贴代码在本地运行它。

import org.apache.flink.streaming.api.scala._
import org.apache.flink.streaming.api.windowing.time.Time

object WindowWordCount {
  def main(args: Array[String]) {

    val env = StreamExecutionEnvironment.getExecutionEnvironment
    val text = env.socketTextStream("localhost", 9999)

    val counts = text.flatMap { _.toLowerCase.split("\\W+") filter { _.nonEmpty } }
      .map { (_, 1) }
      .keyBy(0)
      .timeWindow(Time.seconds(5))
      .sum(1)

    counts.print()

    env.execute("Window Stream WordCount")
  }
}

要运行示例程序，首先从终端启动netcat的输入流:
只需键入一些单词，然后按下回车键就可以得到一个新词。这些将是单词计数程序的输入。如果你想看到数大于1,输入相同的单词一遍又一遍地在5秒(如果你不能快速敲键盘，增加窗口大小的5秒内☺)