【Flink】Flink Distributed Cache 分布式缓存

1.美图

在这里插入图片描述

2.概述

Flink提供了一个分布式缓存,类似于hadoop,可以使用户在并行函数中很方便的读取本地文件。此功能可用于共享文件,包含静态的外部数据,例如字典或者machine-learned回归模型。

此缓存的工作机制如下:程序注册一个文件或者目录(本地或者远程文件系统,例如hdfs或者s3),通过ExecutionEnvironment注册缓存文件并为它起一个名称。当程序执行,Flink自动将文件或者目录复制到所有worker节点的本地文件系统。用户函数可以查找文件或者目录通过这个指定的名称,然后从worker节点的本地文件系统访问它。

使用分布式缓存 如下示例:

java代码:

在ExecutionEnvironment中注册文件或者目录

ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
 

猜你喜欢

转载自blog.csdn.net/qq_21383435/article/details/105500688
今日推荐