[FLINK]#12_Dataストリーム

  • データソース:データソースの入力、
  • 変換:特定の操作、地図、Flatmap、フィルター
  • シンク:指定された媒体に格納された処理されたデータ

情報元

  1. 文書に基づいて、
    readTextFile(path)

  2. ソケットに基づいて、
    socketTextStrean

  3. セットに基づいて、
    fromCollection(Collection)

  4. カスタム入力

変換

  • 地図:

  • FlatMap:

  • フィルタ:

  • KeyBy:指定されたキーに応じたパケット

  • 削減:データ集約操作

  • Aggregations:sum(), max(), min()等

  • 連合は:複数のストリームをマージし、すべてのストリームは、同じ型でなければなりません

  • 接続:マージ二つの流れ、ストリームタイプは異なっていてもよいです

  • coMap、coFlatMap

  • スプリット:複数のストリームへのデータ・ストリーム

  • 選択:スプリットフローを選択した後

  • ランダムパーティショニング:ランダムパーティション
    DataStream.shuffle()

  • リバランス:リバランスデータセット、データスキューを排除するために、再分割
    DataStream.rebalance()

  • 再スケーリング:再調整
    DataStream.rescale()

  • カスタムパーティショニング:カスタムパーティショニング
    DataStream.partitionCustom(partitioner, "someKey")
    DataStream.partitionCustom(partitioner, 0)

シンク

  • writeAsText()

  • 印刷()、printErr()

  • カスタム出力:サードパーティの記憶媒体addSinkへの出力データ

  • カスタムシンク:SinkFuctionインタフェースを実装し、クラスの継承RichSinkFunction

公開された78元の記事 ウォンの賞賛0 ビュー1417

おすすめ

転載: blog.csdn.net/qq_30782921/article/details/102837829