5. Flink は ExecutionConfig を通じてオペレーターにパラメータを渡します「flink シリーズを深く理解する」

1.本の著者「フリンクコアデザインと実践原則の詳細な理解」2.人気
のGitHubプロジェクトFink-Boot（800+）の開発者。フリンクと春の生態統合に専念しています。

記事ディレクトリ

- 関数に渡されるパラメータ
- - 1 ExecutionConfig パラメータを渡す

関数に渡されるパラメータ

Flink は、ユーザー定義関数にパラメーターを渡すプロセスを簡素化する 3 つの方法を提供します。パラメーターは、コンストラクター、withParameters(Configuration) メソッド、または ExecutionConfig インターフェイスを使用して関数に渡すことができます。

1 ExecutionConfig パラメータを渡す

Flink では、カスタム設定値を実行環境の ExecutionConfig 実行設定インターフェイスに渡すこともできます。実行設定はすべてのリッチ関数でアクセスできるため、カスタム設定はリッチ関数を継承するユーザー定義関数でグローバルに利用可能になります。

カスタムのグローバル構成を設定する

import org.apache.flink.configuration.Configuration;

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

//Configuration是一个轻型配置对象，用于存储键/值对。
Configuration conf = new Configuration();
conf.setLong("limit", 16);
//将Configuration对象设置在执行配置中的globalJobParameters字段中
env.getConfig().setGlobalJobParameters(conf);

Flink の組み込み Configuration オブジェクトを使用してパラメータを構成することに加えて、開発者は org.apache.flink.api.common.ExecutionConfig.GlobalJobParameters クラスを継承して実行構成にカスタムユーザー構成オブジェクトを登録し、Map<String, String> toMap() メソッドを書き換えてユーザー構成を Map<String, String> 表現に変換し、Web フロントエンドに構成値を表示することもできます。

グローバル設定からの値へのアクセスグローバル
ジョブパラメータのオブジェクトはシステム内のさまざまな場所からアクセスでき、RichFunction インターフェイスを実装するすべてのユーザー定義関数はランタイムコンテキストを通じてアクセスできます。

import org.apache.flink.api.common.ExecutionConfig;
import org.apache.flink.api.common.functions.RichFilterFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class ParamTemplate {

    private static class FilterJobParameters extends RichFilterFunction<Long> {

        protected long limit ;

        @Override
        public void open(Configuration parameters)  {
            //获取执行环境中的执行配置对象
            ExecutionConfig executionConfig = getRuntimeContext().getExecutionConfig();
            //获取全局作业参数对象
            ExecutionConfig.GlobalJobParameters globalParams =executionConfig.getGlobalJobParameters();
            //将全局作业参数对象转换为Configuration
            Configuration globConf = (Configuration) globalParams;
            //获取作业参数中key为limit的值，如果不存在，则默认为0
            limit = globConf.getLong("limit", 0);
        }

        @Override
        public boolean filter(Long value)  {
            return value > limit;
        }
    }

      public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(2);
        
        //配置全局作业参数，设置key为limit,值为16
        Configuration conf = new Configuration();
        conf.setLong("limit", 16);
        //将全局作业参数设置在执行配置中
        env.getConfig().setGlobalJobParameters(conf);

        DataStream<Long> dataStream = env.generateSequence(1,20);

       DataStream<Long> resultStream= dataStream.filter(new FilterJobParameters());
       resultStream.print("JobParameters stream is ");
        env.execute("ParamTemplate intsmaze");
    }
}

出力結果:

JobParameters stream is :1> 17
JobParameters stream is :2> 18
JobParameters stream is :2> 20
JobParameters stream is :1> 19