[FLINK]#13_Dataセット

情報元

  1. セットに基づいて、
    fromCollection(Collection)

  2. 文書に基づいて、
    readTextFile(path)

変換

  • 地図

  • FlatMap

  • MapPartition:データ処理のパーティションに一度

  • フィルタ

  • 減らします

  • 集計

  • 個別:重複排除のデータセット要素を返します。

  • 加わります

  • アウター・ジョイン

  • クロス

  • 連合

  • まず-N:コレクションの最初のn個の要素を取得

  • ソートパーティション:すべてのパーティションをソート

  • リバランス:

  • ハッシュ・パーティション:指定されたキーデータ・セット・パーティションのハッシュ値
    partitionByHash()

  • レンジ・パーティション:レンジ・パーティションのデータは、指定されたキーに応じて設定しました
    .partitionByRange

  • カスタムパーティション
    partitionCustom(partitioner, "someKey")
    partitionCustom(partitioner, 0)

シンク

  • writeAsText()
  • writeAsCsv()
  • 印刷()
公開された78元の記事 ウォンの賞賛0 ビュー1416

おすすめ

転載: blog.csdn.net/qq_30782921/article/details/102839066