2019年12月11日
フレームワークをスパーク
3つのコアコンポーネント：SparkCore SparkSQL SparkStreaming
Stanalone糸Messos：スパークは3つの展開のモデルを持っています
*****スパークとMapReduceの違い
1.Spark演算データメモリに、反復計算効率が高くなり、MR中間結果が接地ディスクに必要、ディスクIOオペレーションの多くは、パフォーマンスに影響を与えることができ
2.Spark高いフォールトトレランスが、それはRDD設定弾性高いフォールトトレランス分布データによって達成され、RDDは、これらのセットは、全体を通して、失われたまたは誤ったデータの一部弾性で分散ノードのセットは、読み取り専用メモリデータに存在しています復興を実現するために設定され血流データを算出する工程と、MRの耐障害性、および高いコストを再計算する必要があります。
より一般的な3.Spark、変換モジュール、機械学習、計算をSparkStreamingストリーミングに加えて、スパークし、これら二つのカテゴリーでAPI多機能のアクションを提供し、地図とだけMR方法、他のモジュール、MRの事実を削減基本的には使用することを学んつのマシンはありません。
最初の実行等の非環式グラフDAG、ステージ分割を指示したRDD、系統血液によるエコ4.Spark豊かフレームは、しばしばスパーク異なるシナリオでジョブを実行する必要があり、この時間は、異なるシナリオに応じて調整することができます好ましくは、フレームワークを計算MRは、バックグラウンドで実行するのに長い時間のために、比較的単純な、比較的弱い性能、単一安定した動作です。