Flink分布式缓存

分布式缓存

• Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。 此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。 当程序执行，Flink自动将文件或者目录复制到所有taskmanager节点的本地文件系统，仅会执行一次。用户可以通过这个指定的名称查找文件或者目录，然后从taskmanager节点的本地文件系统访问它。

实战

class CacheMap extends RichMapFunction<String, String> {
    
    
    private ArrayList<String> dataList = new ArrayList<String>();

    @Override
    public void open(Configuration parameters) throws Exception {
    
    
        super.open(parameters);
        //2：使用文件
        File myFile = getRuntimeContext().getDistributedCache().getFile("test.txt");
        List<String> lines = FileUtils.readLines(myFile);
        for (String line : lines) {
    
    
            this.dataList.add(line);
            System.err.println("分布式缓存为:" + line);
        }
    }

    @Override
    public String map(String value) throws Exception {
    
    
        //在这里就可以使用dataList
        System.err.println("使用datalist：" + dataList + "------------" + value);
        //业务逻辑
        return dataList + "：" + value;
    }
}

public class DisCacheTest {
    
    

    public static void main(String[] args) throws Exception {
    
    

        //获取运行环境
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        //1：注册一个文件,可以使用hdfs上的文件 也可以是本地文件进行测试
        env.registerCachedFile("hdfs://cloud:9820/upload/test.txt","test.txt");

        DataSource<String> data = env.fromElements("a", "b", "c", "d");

        DataSet<String> result = data.map(new CacheMap());

        result.printToErr();
    }

}