直播回顾 ｜ FlinkX HDFS Write vs StreamFileSink设计原理与使用

哈喽！朋友们

11月23日晚19:00

袋鼠云数栈的

大数据引擎开发技术大咖-渡劫

在钉钉群、微信视频号和B站同步直播

FlinkX技术分享

《FlinkX HDFS Write vs StreamFileSink设计原理与使用》

有没有看呢？

我们看过的小伙伴

都表示学到了

渡劫深入浅出的把日常遇到的困惑完美解答

错过的人儿想看的话

（方法贴在下面了）

下面和数栈君一起回顾下

本次的直播主要讲了些啥？

敲黑板，划重点

一、Flinkx-FileSystem原理与使用

1. Flinkx-FileSystem设计

2. Finkx文件写入逻辑

3. FileSystem 场景

4. FileSystem配置

二、StreamFileSink原理与使用

1. StreamFileSink定义

2. StreamFileSink写入原理

3. StreamFileSink关键字

• Bucket Assignment

• Rolling Policy

• Part File Lifecycle

三、Flinkx-FileSystem 与 StreamFilesink对比

1. 为满足Flink的exchange-once语义，FlinkX的文件系统与Flink的StreamFIleSInk均对文件进行了状态的分类，只有在ck的时候将任务移动到数据目录下，而FlikX同时支持离线模式，可以任务结束时，将数据移动到数据目录下。

2. StreamFileSink在非batch模式下，如果没有ck则文件状态一直是progress 或者pending状态。

3. 同时对于文件都有滚动策略，而StramFileSink则滚动策略更丰富，支持时间相关的配置，FlinkX仅支持文件大小的配置。

错过直播的朋友请注意：

钉钉或搜索：30537511 加入技术交流群，回看直播，获取完整的课件资料。

在b站搜索“袋鼠云”回看直播视频

b站视频网址：https://www.bilibili.com/video/bv1MP4y1V7qS

我们定期会邀请技术大牛来给我们做分享，大家关注我们的下一期直播哦～

更多技术交流方式

想面对面技术交流？想看技术大佬直播？扫码加入钉钉群“袋鼠云开源框架技术交流群”（群号：30537511）

想体验更多数栈开源项目？在Github社区或Gitee社区搜索“FlinkX”开源项目

Github开源项目地址：

https://github.com/DTStack/flinkx

Gitee开源项目地址：

https://gitee.com/dtstack_dev_0/flinkx

{{o.name}}

{{m.name}}