利用NetCat实现sparkstreaming按批次累加小练习

netcat是网络工具中的瑞士军刀，它能通过TCP和UDP在网络中读写数据。netcat所做的就是在两台电脑之间建立链接并返回两个数据流，通过与其他工具结合和重定向，你可以在脚本中以多种方式使用，你能建立一个服务器，传输文件，与朋友聊天，传输流媒体或者用它作为其它协议的独立客户端。

首先在centos7上安装netCat，联网情况下运行命令yum install nmap-ncat.x86_64。

安装完毕后，运行命令nc -lk 8888,将标准输入转发到192.168.119.51（安装natcat的机器）的8888端口,,并将返回输出到标准输出。

测试程序如下：

package cn.allengao.stream

import org.apache.spark.{HashPartitioner, SparkConf}
import org.apache.spark.streaming.dstream.DStream
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
  * class_name:
  * package:
  * describe: 实现按批次累加的功能，实现WordCount
  * creat_user: Allen Gao
  * creat_date: 2018/2/11
  * creat_time: 11:19
  **/
/*
maven里面添加依赖：

 */
object StreamWC {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("StreamWC").setMaster("local[*]")
    val ssc = new StreamingContext(conf, Seconds(5))
    //    如果要使用updateStateByKey算子,就必须设置一个checkpoint目录,开启checkpoint机制。
    //    ssc.checkpoint("hdfs://hadoop001:9000/ck-20180211")
    ssc.checkpoint("j://Dstream/ck-20180211")

    val dStream = ssc.socketTextStream("192.168.119.51", 8888)

    val tuples: DStream[(String, Int)] = dStream.flatMap(_.split(" ")).map((_, 1))
    //按照批次累加需要调用updateStateByKey的方法
    /*
    参数1：状态更新函数
    参数2：分区算法
    参数3：是否在接下来的操作中产生的RDD调用相同的分区算法
    参数4：初始的（K，V）对类型的RDD
    */
    val res: DStream[(String, Int)] = tuples.updateStateByKey(func, new HashPartitioner(ssc.sparkContext.defaultParallelism), false)
    res.print()
    ssc.start()
    ssc.awaitTermination()
  }
  /*
  (Iterator[(K, Seq[V], Option[S])]) => Iterator[(K, S)]如何解读:
  入参：三元组迭代器，三元组中K表示Key，Seq[V]表示一个时间间隔中产生的Key对应的Value集合(Seq类型,需要对这个集合定义累加函数逻辑进行累加),
  Option[S]表示上个时间间隔的累加值(表示这个Key上个时间点的状态)
  出参：二元组迭代器，二元组中K表示Key，S表示当前时间点执行结束后，得到的累加值(即最新状态)
   */
  //
  val func = (it: Iterator[(String, Seq[Int], Option[Int])]) => {
    it.map(t => {
      (t._1, t._2.sum + t._3.getOrElse(0))
    })
  }
}

运行程序，在netcatch中输入hello tom hello jerry

输出结果：

-------------------------------------------
Time: 1518332160000 ms
-------------------------------------------
(tom,1)
(hello,2)

(jerry,1)

过5秒钟再输入hello java hello java hello java

输出结果：

-------------------------------------------
Time: 1518332165000 ms
-------------------------------------------
(tom,1)
(hello,5)
(java,3)
(jerry,1)

这样就用sparkstreaming实现了数据的累加。

利用NetCat实现sparkstreaming按批次累加小练习

猜你喜欢