RDD原理

 

 

  • パッケージ下部テキストファイルMRの方法は、ファイル、最初の分割を読み込む前に、ファイルを読み取るためのモードを読んで、スプリットデフォルトのブロックサイズがサイズです
  • RDDは、ローカリゼーションデータを反映して、最適な位置を計算するために提供しました。ビッグデータ「動かないモバイルデータのコンピューティング」のコンセプトを反映しています
  • K、VフォーマットRDD
    • 場合データは、我々はRDD RDD K、Vフォーマットと呼ばれることが、RDDタプルオブジェクト内に格納されています
  • RDDの弾力性(フォールトトレラント)
    • パーティションの数は、RDDの弾力性を反映して、いかなるサイズの制限がありません
    • RDDの依存関係は、RDD RDDに基づいて再計算することができます
  • RDD分散
    • RDDは異なるノード上に分散パーティション、パーティションに構成されています

 

おすすめ

転載: www.cnblogs.com/xiangyuguan/p/11203150.html