Hadoopのスパーク性能の違いは何ですか。
Hadoopの大規模な契約チームがあるならば、私たちは家を建てるためにレンガを移動し、協力する人員を整理するために使用することができ、医療過誤が遅くなります。
作業効率がHadoopのよりもはるかに高速である、スパークは遅く設定し、別の契約のチームですが、彼らはレンガをより柔軟に、リアルタイムの相互作用が家を建てることができます移動しています。
Hadoopのアップグレードを開始すると、スケジュールの専門家YARNスケジューリングの労働者を指定します。また、糸/ MESOS要員およびスケジューリング・タスクとして、異なる専門家を可能にする、倉庫、複数の移動煉瓦（HDFS、カサンドラ、S3、HBaseの）をスパーク。
もちろん、スパークとHadoopのチームの協力、問題が複雑になります。二つの別々の契約チームとして、両方のは、自分の長所と短所と特定のビジネスユースケースを持っています。
したがって、我々は、Hadoopの間の性能差は、そのを刺激することを言います。
Hadoopの100倍速い速度よりもメモリに、ディスクの高速化を10回実行しているスパーク。我々はすべて知っているように、マシン上の火花は、唯一の数は、HadoopのMapReduceの3倍よりも速く100TBのソートデータの速度です。また高速さらに、スパーク速度機械学習アプリケーション、例えば、ナイーブベイズおよびK-手段。
あなたはMapReduceのタスクを実行するたびに、スパークは、入力および出力によって限定されるものではないため、パフォーマンスが、Hadoopのよりも優れている理由をスパーク理由。これは、そのアプリケーションの速度が非常に速く判明します。さらにスパークDAGは、各ステップの間で最適化することができます。調整の性能がそのレベルで発生していないことを意味する任意の周期接続せずにステップ間のHadoopのMapReduce。しかし、スパークや他の共有サービスがYARN上で実行されている場合は、パフォーマンスが低下すると、メモリリークRAMのオーバーヘッドが発生することがあります。ユーザーは控訴のバッチを持っている場合は、このような理由から、Hadoopのは、より効率的なシステムであると考えられています。