- データソース:データソースの入力、
- 変換:特定の操作、地図、Flatmap、フィルター
- シンク:指定された媒体に格納された処理されたデータ
情報元
-
文書に基づいて、
readTextFile(path)
-
ソケットに基づいて、
socketTextStrean
-
セットに基づいて、
fromCollection(Collection)
-
カスタム入力
変換
-
地図:
-
FlatMap:
-
フィルタ:
-
KeyBy:指定されたキーに応じたパケット
-
削減:データ集約操作
-
Aggregations:sum(), max(), min()等
-
連合は:複数のストリームをマージし、すべてのストリームは、同じ型でなければなりません
-
接続:マージ二つの流れ、ストリームタイプは異なっていてもよいです
-
coMap、coFlatMap
-
スプリット:複数のストリームへのデータ・ストリーム
-
選択:スプリットフローを選択した後
-
ランダムパーティショニング:ランダムパーティション
DataStream.shuffle()
-
リバランス:リバランスデータセット、データスキューを排除するために、再分割
DataStream.rebalance()
-
再スケーリング:再調整
DataStream.rescale()
-
カスタムパーティショニング:カスタムパーティショニング
DataStream.partitionCustom(partitioner, "someKey")
DataStream.partitionCustom(partitioner, 0)
シンク
-
writeAsText()
-
印刷()、printErr()
-
カスタム出力:サードパーティの記憶媒体addSinkへの出力データ
-
カスタムシンク:SinkFuctionインタフェースを実装し、クラスの継承RichSinkFunction