Spark Streaming操作笔记

linux同步时间：ntpdate -u -ntp1.aliyun.com
安装插件：yum -y install net-tools，yum -y install nc

---

开发Streaming：
1.导入包
2.开发Streaming代码（1）local的数量必须设置大于1,

---

使用spark streaming代码：

def main(args: Array[String]): Unit = {
  val conf = new SparkConf().setMaster("local[2]").setAppName("streamFirst")
  val sc = new SparkContext(conf)
  sc.setLogLevel("WARN")//设置日志等级
  val streamingContext = new StreamingContext(sc,Seconds(5))
  //设置消息接收和端口
  val lines = streamingContext.socketTextStream("192.168.200.10",9999)
  lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).print()
  streamingContext.start()
  streamingContext.awaitTermination()
  sc.stop()
}

---

遇到的问题：

lines.flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).print()

如果这里用lines.map的话会出现：
SparkException: Cannot use map-side combining with array keys.错误。