RDD幅依存性

RDD、依存性と依存間の依存関係の一連の狭幅依存性に分割されます。

  • 狭い依存、何のシャッフルが発生しません

    • RDD RDDパーティションの親と子の関係は一から一です

    • RDDの親と子の関係は、多対RDDパーティションです

  • 広い依存関係を生成し、シャッフルがあるでしょう

    • 親と子RDD RDDパーティション間のデータの関係は、多くの1つです

おすすめ

転載: www.cnblogs.com/xiangyuguan/p/11221687.html
おすすめ