余老师带你学习大数据框架全栈第十一章Flink第二节批处理和流处理

批处理和流处理

对于Flink而言底层是Java,Flink给我们提供了Java和Scala两种语言,在开发的过程当中你可以使用java或者Scala,使用Scala语言整体的风格会更加的简洁,可读性更强,所以推荐使用Scala,接下来我们使用的也是Scala写的程序。

Pom.xml

1、引入的依赖Flink1.10.1的版本,Scala是2.12版本
在这里插入图片描述

2、因为要做流式处理的开发,所以引入flink-streaming-scala
在这里插入图片描述

3、引入Scala-maven-plugin插件,主要用来做编译,在maven项目中把Scala源文件编译成字节码文件
在这里插入图片描述

4、引入maven-assembly-plugin插件,可以按照需求把最后生成的项目生成jar包
在这里插入图片描述

代码解释及操作

1、批处理:统计以下文本中词出现的次数
确定主程序是WordCount
在这里插入图片描述
在这里插入图片描述

命令:
mvn compile -Dexec.mainClass="com.songshu.wc.WordCount"
mvn exec:java -Dexec.mainClass="com.songshu.wc.WordCount" -Dexec.classpathScope=runtime -Dmaven.test.skip=true
在这里插入图片描述

运行结果:
在这里插入图片描述

2、流处理
命令:
mvn clean scala:compile compile -Dexec.mainClass="com.kinginsai.wc.StreamWordCount"
mvn exec:java -Dexec.mainClass="com.kinginsai.wc.StreamWordCount"
在这里插入图片描述
在这里插入图片描述

3、先将端口号7777启动
命令:nc -l -p 7777
程序运行之后,在输入数据
在这里插入图片描述
在这里插入图片描述
详细学习内容可观看Spark快速大数据处理扫一扫~~~或者引擎搜索Spark余海峰

在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_45810046/article/details/113653140