Flink入门构建一个应用

构建一个应用

当然了，我们可以用maven，一顿new，new出来一个过程，这里我们将使用 Flink Maven Archetype 来创建我们的项目结构和一些初始的默认依赖。在你的工作目录下，运行如下命令来创建项目：

mvn archetype:generate \
    -DarchetypeGroupId=org.apache.flink \
    -DarchetypeArtifactId=flink-quickstart-java \
    -DarchetypeVersion=1.7.2 \
    -DgroupId=flink-project \
    -DartifactId=flink-project \
    -Dversion=0.1 \ -Dpackage=myflink \ -DinteractiveMode=false

这样一个工程就构建好了。

还有一个更加牛逼的办法，看这里：

curl https://flink.apache.org/q/quickstart.sh | bash

直接在命令行执行上面的命令，结果如下图：

同样可以构建一个Flink工程，而且自带一些demo。

原理是什么？点一下它看看就明白了。
https://flink.apache.org/q/quickstart.sh

编写一个入门级的WordCount


    //
    //    Program
    //

    public static void main(String[] args) throws Exception { // set up the execution environment final ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); // get input data DataSet<String> text = env.fromElements( "To be, or not to be,--that is the question:--", "Whether 'tis nobler in the mind to suffer", "The slings and arrows of outrageous fortune", "Or to take arms against a sea of troubles," ); DataSet<Tuple2<String, Integer>> counts = // split up the lines in pairs (2-tuples) containing: (word,1) text.flatMap(new LineSplitter()) // group by the tuple field "0" and sum up tuple field "1" .groupBy(0) //(i,1) (am,1) (chinese,1) .sum(1); // execute and print result counts.print(); } // // User Functions // /** * Implements the string tokenizer that splits sentences into words as a user-defined * FlatMapFunction. The function takes a line (String) and splits it into * multiple pairs in the form of "(word,1)" (Tuple2&lt;String, Integer&gt;). */ public static final class LineSplitter implements FlatMapFunction<String, Tuple2<String, Integer>> { @Override public void flatMap(String value, Collector<Tuple2<String, Integer>> out) { // normalize and split the line String[] tokens = value.toLowerCase().split("\\W+"); // emit the pairs for (String token : tokens) { if (token.length() > 0) { out.collect(new Tuple2<String, Integer>(token, 1)); } } } } }

类似的例子，官方也有提供的，可以在这里下载：
WordCount官方推荐

运行

本地右键运行：

提交到本地单机Flink上

mvn clean package -Dmaven.test.skip=true

然后，进入 flink 安装目录 bin 下执行以下命令提交程序：

flink run -c org.myorg.laowang.WordCount /Users/wangzhiwu/WorkSpace/quickstart/target/quickstart-0.1.jar

分别制定main方法和jar包的地址。

在刚才的控制台中，可以看到：

我们刚才提交过的程序。

flink的log目录下有我们提交过的任务的日志：

Flink入门 构建一个应用

构建一个应用

编写一个入门级的WordCount

运行

猜你喜欢

Flink入门构建一个应用