Hadoopアーキテクチャとバージョンの違い
序文
まず、Hadoopフレームワークによって解決される2つの主要な問題、つまり、大容量データの保存と計算について明確にする必要があります。ストレージでは、Hadoopは独自の分散ファイルシステムHDFS(Hadoop Distributed File System)を実装し、コンピューティングでは、Hadoopは分散オフラインコンピューティングフレームワークMapReduceを使用します。
1. Hadoop 1.xアーキテクチャ
Hadoop 1.xは、Common(補助ツール)、HDFS(データストレージ)、MapReduce(コンピューティング+リソーススケジューリング)で構成されています。
2. Hadoop 2.xアーキテクチャ
Hadoop 2.xは、Common(補助ツール)、HDFS(データストレージ)、MapReduce(コンピューティング)、およびYarn(リソーススケジューリング)で構成されています。
3.違い
上記からわかるように、2.xと1.xの主な違いは、2.xがリソースのスケジューリングを調整し、Yarnに割り当てられるのに対して、MapReduceは計算のみを担当することです。1.xの2.xの複数のそのような結合少ないです。