Hadoopの簡潔な知識

1.hadoop
二つの方法で導入HA機構の公式hadoop2.0を、1は、NFS(ネットワークファイルシステム)モードであり、他はQJM(クォーラムジャーナルマネージャ)モードです。
高可用性:障害hadoop_haのJournalNodesのシングルポイントアクティブ・スタンバイクラスタの
修正時刻がローカル・ディスク・ファイルに書き込まれたことに加えて、メタデータの編集ログを生成しますが、また書かJournalNodesするクラスタ
名前ノードを:
名前ノードは、主HDFSメタデータ情報を保存するために使用され、名前など空間情報、ブロック情報など。それは、メモリ内に存在する情報を実行するとき。しかし、この情報は、ディスクに永続化されます。
それは、ファイルシステム全体のの名前ノードのスナップショット上で起動される- fsimage
編集ログ-それは名前ノードを起動した後、ファイルシステムへの配列の変化
データノード:
ストレージブロック
Secondarynamenode:
1.イメージバックアップ、バックアップFsImageの
2.edit.logと古いですfsimageは、名前ノードのに送られ、新しいfsimageにマージ
2.yarnの
クラスタ内に現れている。複数のTaskTrackerと1つのJobTracker;
JobTracker:資源管理とジョブスケジューリングを担当し、
TaskTracker:このノードJobTrackerの健康状態に定期的に報告リソースとタスクの使用の実装は、(スタート/キルタスクなど)JobTrackerからのコマンドを受信し、受信したコマンドを実行し、
3.mapreduceを
分割によって決定さmaptask
ReduceTaskは、パーティションによって決定しました


!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!! !!!!!!!

おすすめ

転載: www.cnblogs.com/wpy188/p/12416401.html