HDFS
アーキテクチャの設計
マスターとスレーブに応じHDFS構造。名前ノード、SecondaryNameNode、データノードこれらの役割がポイント。
名前ノード：それは、マスターノードであるマネージャーです。1、管理ブロックマッピング; 2、読み込み、クライアントの要求に書き込み; 3、ポリシー設定のコピー; 4 、HDFSの名前空間の管理;
これらのデータノードのノードに格納されたファイルの所有権とアクセス権を含むメタデータの名前ノード保存、ブロック情報ファイルを含む、ブロック（データのこの部分は、名前ノードのディスクに格納されていない場合、データノードの開始時に名前ノードに報告されている
名前が受け取られた後に情報が）メモリに保存され、ファイル名fsimageのためのディスク上に格納されているメタデータメモリにロードされ、開始名前ノード後の情報は、メタデータの名前ノードは、位置情報は、編集文書のブロックfsimageに保存されていない
クライアントfsimage操作ログファイルの追加や削除、などが挙げられます。Fsimageのユーザ操作が直接行くfsimage更新が、編集に記録されていません
SecondaryNameNode：ワークロードを共有して名前ノード、名前ノードはコールドバックアップです。fsimage合併とfseditsは、名前ノードを送りました。
展開と使用
HDFSます。https：// blog.csdn.net/qq_41946557/article/details/102753444
シナリオ
1 ）HDFSは、小さなファイルを大量に保存するには適していません
2 ）低いアクセス時間遅延のために適していないハイスループットHDFSを
3 ）ストリーミング読み出しモードでは、ファイルを書き込むためのマルチユーザには適していません
5）アプリケーションシナリオの何回も読んで、一度書き込みのためのより適切なHDFS
TFS
アーキテクチャの設計
TFSネームサーバつのノード（主なもの）とノードデータサーバーの複数のクラスタ。ブロック（通常64M、構成可能な）記憶され、編成されたデータの単位。これらのサービスプログラムは、通常のLinuxマシン上で実行しているユーザレベルのプログラムとしてあります。
ネームサーバキー管理および保守ブロックデータサーバーデータサーバー放棄、ハートビートメッセージ、ブロックとデータサーバー確立、持ち上げとの対応関係を含む関連情報を、。通常の状況下では、ブロックがDataServerをメインネームサーバ上に存在します
、ブロックの作成を担当する、削除、コピー、バランスの取れた、ソート、ネームサーバは、実際のデータがDataServerをすることによって完成する読み取りおよび書き込みデータを、読み取りと書き込みの実際の責任を負いません。
実際に読み取りまたは書き込みデータを格納し、ためDataServerを主に担当します。
データの高い信頼性を確保するために、各ブロックは異なるラック上の複数のコピーに格納される、同じブロック内で、かつ迅速にファイルブロックを見つけるために、TFSブロックをインデックスとして記憶されるであろう小さな複数のファイルを確立します。
展開と使用
TFSます。https：// blog.csdn.net/qq_41946557/article/details/102753394
シナリオ
TFSは、ファイルサイズが通常保存された小さなファイルのニーズを満たすために1M、淘宝網に過ぎない、淘宝網の小さな塊のファイルストレージを提供し、それが広く、様々な用途淘宝網で使用されています。主に非構造化データの膨大な量のため、およびストレージアクセス、高い信頼性と高い同時外部に提供する、クラスタ内の一般的なLinuxマシン上に構築。
fastdfs
アーキテクチャの設計
FastDFSでの3つの役割がありますが、クライアントは、第二は、トラッカー追跡サーバで、最初のクライアントであり、そして第三は、ストレージストレージサーバーです。公式C、JavaとPHPの呼び出しAPIによって提供されるクライアントクライアントは、これは後述します。ここでは、私たちの詳細については、サーバやストレージ・サーバを追跡するため。
ストレージ・サーバについて、パケットの方法により、同じグループ内のファイルサーバ（同期スレッド同期のために）同一であり、それは、グループ間での通信はありません。ストレージサーバは、現在の状態が定期的にサーバに報告を追跡するためのイニシアチブをとるだろう、サーバーは複数の間で複数のトラッキングを持つことができる何のマスタースレーブが存在しない、のようなものです。
クライアントは、ストレージ・サーバについての情報を格納する必要はありません。一般ユーザの要求は、ストレージ・サーバへの直接の要求ではないが、サーバーは追跡を要求します。例えば、クライアントは、サーバー・ストレージからファイルをアップロードするために、クライアントに割り当てられたグループを検索します。この時間追跡サーバは、今回オフファイルをアップロードする必要がある
クライアントの後には、情報のグループを取得し、ストレージサーバに指示し始めましたグループは、トラッキングサーバを介して、さらに輸送することなく、相互に作用します。
すなわち：
トラッカーServre：追跡サーバー、主に作業のスケジューリングを行うには、負荷分散の役割は、訪問中に果たしました。メモリ内の状態情報を記録し、クラスタグループとストレージサーバ、およびクライアントストレージハブに接続されています。メモリ内のすべての情報なので、トラッカーサーバーのパフォーマンスが非常に高い、比較的
大きなクラスタは、（例えば、グループ数百人）は3で十分です持っていました。
ストレージ・サーバー：ストレージ・サーバ、ファイルやファイル属性（メタデータ）は、ストレージサーバに格納されています。
展開と使用
fastdfsます。https：// blog.csdn.net/qq_41946557/article/details/102753972
シナリオ
500Mの4キロバイトの間FastDFS適切なストレージの範囲は、そのような写真サイト、短いビデオサイト、文書、アプリのダウンロードステーションとして中小ファイルを格納する可能性が高いです。
FastDFSユーザーアリペイ、Jingdongは、公正ネットワーク、58都市、UC、51CTOネットワークディスクと、同社は、特にモバイルインターネットの台頭、短いビデオの数、書籍、オーディオ、小さなことからFastDFSを使用したことを言うことができるいくつかの企業非常に適切なFastDFSを使用して約十または12000000000000メガバイトの一部のアプリ、、。
タキオン
アーキテクチャの設計
：Hadoopの（Hadoopのは、マスタ-スレーブ構成、そこに二つの構造であるのHadoopとDateNodeを名前ノード）とタキオン伝統的なアーキテクチャマスター-スレーブ・アーキテクチャは、タキオンは、3つの主要なコンポーネントが
マスター、クライアント、および作業者。各ノード上のワーカースパーク、展開タキオンワーカー、タキオンタキオンクライアントを介してデータを読み書きするワーカーアクセススパーク。すべての
タキオンワーカーはタキオンマスター、タキオンマスタースパークワーカーのタイミングが崩壊したかどうかを決定するためにタキオン者により送信されたハートビート残りスパークワーカーのそれぞれのメモリ空間の量を管理しています
展開と使用
タキオンます。https：// blog.csdn.net/qq_41946557/article/details/102754415
シナリオ
生成されたデータを格納する分散コンピューティング、分散メモリを解くその問題のため。だから、バッチ・ジョブ・アプリケーション・シナリオベースのスパークのほとんどでした。
現時点では、（などピボタル、EMC、レッドハット、など）多くの企業がすでにタキオンを使用していて、コード内での貢献のための60の以上の貢献者の（などヤフー、インテル、レッドハット、など）、20の団体や企業から。タキオンデータ解析は、記憶層のUCバークレースタック（BDAS）であり、それは、オペレーティングシステム自体のFedoraアプリケーションです。