マスターへのHadoopビッグデータベースエントリ

1.hadoop過去と現在:

  1)検索エンジン:クローラー+インデックスサーバ(生成されたインデックス検索+)

  2)Doungカット

  3)Nutchの

    。分散ストレージ

    B。分散コンピューティング

  4)GFS紙doung切断は、HDFSを書い

2.hadoop概要

  共通のHadoop:通信ネットワークを提供

  HadoopのHDFS

  HadoopのMapReduceのの

  Hadoopの糸

 

Hadoop 0.xの1.xの

 

 

 

 

 Hadoopの2.xでのリリース後

 Hadoopの概要

 

 

HDFS導入 

 

名前ノードのマスターノードはメタデータを格納し、各ファイルのデータノードのブロックリストの位置とブロックが配置されています

 

データノードは、データ・ブロックとチェックを格納し、

 

SecondaryNamenode背景監視データは、スナップショットを取ります

 

 

1)4つのモジュール

 

2)HDFS(Hadoopの分散ファイルシステム):分散ファイルシステム

  。ファイルシステム:ファイル管理ブロック管理+ブロック

  スタンドアロンファイルシステム

  ウィンドウ:FAT16、FAT32、NTFS

  Linuxの場合:EXT 2/3/4、VFS

  B。分散ファイルシステム

  複数のサーバー・ファイル・システム

  C。三つのコンポーネント

  名前ノード

  •   メタデータ:ファイル名、ディレクトリ名、プロパティ
  •   ファイルリストとブロックリストとの関係
  •   データノードリストとブロックマッピング関係

 

  データノード

  データのブロックのブロック、チェックサムエンコーディング

 

  SecondaryNameNode

  、共有、マージ、編集履歴が画像ファイルのfsimageを編集し、合併が最終的に処理するためのファイルになるために名前ノード圧力は名前ノードを返します。

  

 Hadoopの概要

 

YARN導入事例

 

おすすめ

転載: www.cnblogs.com/zhichun/p/11361255.html