RDD、依存性と依存間の依存関係の一連の狭幅依存性に分割されます。
-
狭い依存、何のシャッフルが発生しません
-
RDD RDDパーティションの親と子の関係は一から一です
-
RDDの親と子の関係は、多対RDDパーティションです
-
-
広い依存関係を生成し、シャッフルがあるでしょう
-
RDD、依存性と依存間の依存関係の一連の狭幅依存性に分割されます。
狭い依存、何のシャッフルが発生しません
RDD RDDパーティションの親と子の関係は一から一です
RDDの親と子の関係は、多対RDDパーティションです
広い依存関係を生成し、シャッフルがあるでしょう