【flink】flink实现wordCount(java)

---

前言

之前学习了spark,现在正在学习flink，感觉很类似，记录下flink的学习过程，请大家参考。

---

一、wordCount

1、有界wordCount

代码如下（示例）：

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class WordCount {
    
    

	public static void main(String[] args) throws Exception{
    
    
		// 创建执行环境
		ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

		// 从文件中读取数据
		String inputPath = "E:\\webapps\\test\\flink-demo\\data\\1.txt";
		//这里和spark很相似了
		DataSet<String> inputDataSet = env.readTextFile (inputPath);

		// 对数据集进行处理，按空格分词展开，转换成(word, 1)二元组进行统计
		DataSet<Tuple2<String, Integer>> resultSet = inputDataSet.flatMap(new MyFlatMapper())
				.groupBy(0)   // 按照第一个位置的word分组
				.sum(1);    // 将第二个位置上的数据求和
		resultSet.print();
	}

	// 自定义类，实现FlatMapFunction接口
	public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String, Integer>>
	{
    
    
		public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
    
    
			// 按空格分词
			String[] words = value.split(" ");
			// 遍历所有word，包成二元组输出
			for (String word : words) {
    
    
				out.collect(new Tuple2<String,Integer>(word, 1));
			}
		}
	}
}

2、无界wordCount

代码如下（示例）：

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
 
public class WordCount2
{
    
    
	public static void main(String[] args) throws Exception{
    
    
		// 创建流处理执行环境
		StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
		String host = "localhost"; 
		int port = 7777; 
		// 从socket文本流读取数据
		DataStream<String> inputDataStream = env.socketTextStream(host, port);
		//处理无界数据的时候，没有groupBy方法，groupBy可以理解为当数据全加载完成之后进行分组
		// 无界是没有办法加载全部数据，因此替换为keyBy方法
		DataStream<Tuple2<String, Integer>> resultStream = inputDataStream.flatMap(new WordCount.MyFlatMapper())
				.keyBy (0).sum (1);
		resultStream.print();
		// 执行任务
		env.execute();
	}
}

无界启动时，使用nc工具进行测试，通过nc工具进行socket信息传输。
启动指令nc -l -p 7777或者 nc -lk 7777 ，可能由于nc版本不同或者执行环境不同，命令可能
如果出现local listen fuxored: INVAL异常，使用nc -l -p 7777即可。

3、pom.xml

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.10.1</version>
            <scope>provided</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>1.10.1</version>
            <scope>provided</scope>
        </dependency>
    </dependencies>

---