1.《深入理解Flink核心设计与实践原理》一书作者
2.GitHub 热门项目 fink-boot(800+) 开发者,致力于flink与spring生态集成 3.前上市top咨询公司技术经理,现大厂资深开发
4.证书:软件设计师,Apache kylin管理员
5.方向:java服务端开发,分布式开发,实时计算,大数据开发工程师
参数传递给函数
Flink提供了三种方式来简化将参数传递给用户定义的函数这一过程:使用构造函数或withParameters(Configuration)方法或者ExecutionConfig接口都可以将参数传递给函数。
1 ExecutionConfig传递参数
Flink还允许将自定义配置值传递到执行环境的ExecutionConfig执行配置接口,由于可以在所有富函数中访问执行配置,因此自定义配置将在继承了富函数的用户定义函数中全局可用。
设置自定义全局配置
import org.apache.flink.configuration.Configuration;
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
//Configuration是一个轻型配置对象,用于存储键/值对。
Configuration conf = new Configuration();
conf.setLong("limit", 16);
//将Configuration对象设置在执行配置中的globalJobParameters字段中
env.getConfig().setGlobalJobParameters(conf);
除了使用Flink内置的Configuration对象来配置参数外,还允许开发者继承org.apache.flink.api.common.ExecutionConfig.GlobalJobParameters类以在执行配置中注册自定义用户配置对象,重写Map<String,String> toMap()方法将用户配置转换为Map<String,String>表示形式,依次在Web前端中显示配置的值。
从全局配置访问值
全局作业参数中的对象可在系统中的许多位置访问,所有实现RichFunction接口的用户定义函数都可以通过运行时上下文进行访问。
import org.apache.flink.api.common.ExecutionConfig;
import org.apache.flink.api.common.functions.RichFilterFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
public class ParamTemplate {
private static class FilterJobParameters extends RichFilterFunction<Long> {
protected long limit ;
@Override
public void open(Configuration parameters) {
//获取执行环境中的执行配置对象
ExecutionConfig executionConfig = getRuntimeContext().getExecutionConfig();
//获取全局作业参数对象
ExecutionConfig.GlobalJobParameters globalParams =executionConfig.getGlobalJobParameters();
//将全局作业参数对象转换为Configuration
Configuration globConf = (Configuration) globalParams;
//获取作业参数中key为limit的值,如果不存在,则默认为0
limit = globConf.getLong("limit", 0);
}
@Override
public boolean filter(Long value) {
return value > limit;
}
}
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setParallelism(2);
//配置全局作业参数,设置key为limit,值为16
Configuration conf = new Configuration();
conf.setLong("limit", 16);
//将全局作业参数设置在执行配置中
env.getConfig().setGlobalJobParameters(conf);
DataStream<Long> dataStream = env.generateSequence(1,20);
DataStream<Long> resultStream= dataStream.filter(new FilterJobParameters());
resultStream.print("JobParameters stream is ");
env.execute("ParamTemplate intsmaze");
}
}
输出结果:
JobParameters stream is :1> 17
JobParameters stream is :2> 18
JobParameters stream is :2> 20
JobParameters stream is :1> 19