ディスクストレージ

:ディスクの管理
1>ディスクの管理は、基本的なプロセスを.linux:
1.チェック装置:のfdisk -l
2区:FDISK -Cuデバイス名(NP -1-キャリッジ- -w入力してください)
3.再読パーティションテーブルを: partx -aデバイス名
4.形式:mkfs.ext4パーティション名
5.マウント:パーティション名をマウントするマウントポイント
6.永久マウント:エコー「パーティション名マウントポイントのext4のデフォルトは0 0」>>の/ etc / fstabに
7.チェックディスク使用量:DF -ht
2>スワップファイルシステム管理:
1.役割:読み取りと書き込みの効率と速度を向上させるために、Linuxカーネル、ファイルをメモリにキャッシュされます、このメモリであるキャッシュメモリ(キャッシュメモリ) 。あなたのプログラムの終了を実行した後でも、キャッシュメモリは自動的に解放されません。これは、あなたが少なく、利用可能な物理メモリになるでしょう、頻繁に後でファイルを読み書きLinuxシステムであなたをリードします。システムの物理メモリが十分でない場合には、我々は、物理メモリ空間の一部である必要が使用するために、現在実行中のプログラムで使用するためにリリースされます。これらのプログラムは、メモリにスワップパーティションからデータを復元し、次に実行し、するまで、これらの空間は、空間のスワップ空間に放出された何も操作手順は、一時的に格納されていない長い時間の数から放出されてもよいです。したがって、システムは常に物理メモリ内では十分ではありません、それはスワップ交換を実施しました。
:2.swapは道に生成
。パーティションシステムのインストールを。
B.は、ハードディスクを生成した後にフォーマットされます。
FDISKは/ dev / SDB -l
無料-mスワップビュー##の大きさだけでなく、表示メモリのサイズ
のfdisk -Cuは/ dev / sdbと## NP -1- + 2G-T-82- - ENTER W
partx -aは/ dev / sdbと##再読み込みパーティションテーブル
CAT / procの/パーティション
mkswapは/ dev / sdb1が##フォーマットスワップ、新しいスワップ
はswaponは/ dev / sdb1が##一時的なスワップを有効にする
検証見る無料## -mとして
はswapon -sを##スワップの詳細を参照
のviの/ etc / fstabに##永久マウント
は/ dev / sdb1がスワップスワップデフォルト0 0
無効、ビュー、有効化:スワップ管理)3> 0.2
ビュー:-s swaponを
有効にする:パーティションswaponを
無効に:するswapoffパーティション
4> .LVM論理ボリューム管理
の基本的な流れの1.LVM:
パーティション(FDISK)を作成- > PV(は、pvcreate)を作成します- >(vgcreateが ) VGを作成する- > LV(lvcreateの)を作成します- >フォーマット(mkfsコマンド) - >マウント(マウントまたは/ etc / fstabの)
2.LVM動的拡張:
論理LV拡張:vgextend(拡張VG)は、lvextend(膨張LV)、resize2fsの(サイズを再読み込み)、DF(検証)
2:分散ファイルシステムMFS
、フォールトトレラント、高可用性の分散ファイルシステムレベルの大規模な拡張性、複数のサーバ、外国配信データ記憶装置の入り口に統一されたアクセスを提供することと、階層、ファイルの属性が含まれ、:MFSは、あなたはまた、特別なファイルを作成することができます。
分散ファイルシステム(DFS):物理ストレージリソース管理ファイルシステムは、必ずしもローカルノードへの直接リンクではなく、ノードがネットワークに接続されています。
MFSの利点:集中アクセスには、操作、データの災害復旧、改善のファイルアクセス性能を簡素化します。
MFS組成物(部分):メタデータ・サーバー(マスター、単一障害点が存在する)、メタデータログサーバ(metalogger、バックアップマスターログ)、データ・ストレージ・サーバ(チャンク・サーバ、S)、クライアントは、(FUSEモジュールは、リンクされました)ファイルシステムをアップロードします。
MFSのプロセスを読み書き:
データを読み出す1> .MFS工程:
1.Clientマスターへのデータ読み出し要求を
クライアントに通知所望データの格納場所(チャンクとIPのチャンクサーバ数)2.master
3.clientをサーバへのリクエスト・データがチャンク
4.chunk-サーバーがクライアントにデータを送信する
2>は、データ書き込み処理を.MFS:
1.Clientはマスターへの書き込み要求を送信
確認を提供することができ、書き込みデータと相互作用チャンクサーバー2.masterチャンク・サーバーおよび数チャンク
3.master IPは番号を確認すると良いチャンク・サーバーの分散クライアントのチャンク
ディスクはのチャンクのチャンクサーバ番号にデータを書き込む4.client
5.chunkサーバおよびその他チャンク・サーバーのデータ同期、成功したクライアントに成功書面後
6.clientマスター書き込み終了通知
3を:Hadoopのストレージに分散
1>基本的な機能の.Hadoop:
1)のHadoopは、分散処理で大量のデータに対して実行することができますソフトウェアフレームワーク。データ処理のために、信頼性の高い効率的、かつスケーラブルな方法でHadoopを。
それはコンピューティングおよびストレージの要素が失敗する可能性と仮定し、それが機能するためにデータの複数のコピーを維持するため、2)のHadoopは、信頼性が高い、確実にその故障したノードの再分配プロセス。
それは並列に動作するため、3)のHadoopは、並列処理により高速処理が効率的です。
4)のHadoopはまた、スケーラブル、PBレベルのデータを処理することができます。
2> .Hadoopコアテクノロジー・コンポーネント:
1)名前ノード(名前空間ノード)とデータノード(ノードデータ)を含む、Hadoopの分散ファイルシステム(HDFS)最下層である
2)のMapReduceエンジン:ソフトウェアは、大規模なデータセットの並列処理のためのものですフレームは、エンジンの一つとJobTrackers TaskTrackers組成上の(本明細書のために)HDFSです。
地図機能、および軽減機能の主な機能:最も簡単なアプリケーションのMapReduceは、少なくとも3つの部分から構成されています。
3)データウェアハウスと分散データベースのHBaseハイブツール:のNoSQLデータベース
3>のHadoopデータの読み書き処理:
読取処理が
ファイルシステム1を初期化する)、次いで、オープンファイルシステム()関数を使用して、クライアント(クライアント)は、ファイル開き
2)RPCとファイルシステムファイルを取得するメタデータノード、データブロック情報を呼び出して、ノードは、各データブロックのデータブロックに格納されたアドレスデータ、メタデータノードを返します。
3)ファイルシステムFSDataInputStreamは、データを読み取るためのクライアントに返されると、クライアントは、データの読み取りを開始する読み取りストリーム()関数を呼び出します。
4)DFSInputStreamは、最新のノードデータの最初のデータブロック内のデータのクライアントノード(クライアント)から読み出されたデータを、ファイルを保存するために接続されています。
データ・ブロックが読み込まれた場合5)、DFSInputStream接続とデータノードを閉じ、この最新データノードにファイルデータブロックを接続します。
6)クライアントがデータを完了する読み取ると、近い呼び出しFSDataInputStream機能。
クライアントは、次に、データノードと通信し、このノードは、次のデータブロックを含む接続しようとする場合7)データの読み出し処理において、エラーが発生します。
8)データノードが後でもはや接続されて記録されません失敗しました。
プロセス書き込み
1)ファイルオープンファイルシステムオープンするファイルシステムは、クライアント(クライアント)()関数を初期化
2)RPC呼び出しでファイルシステムメタデータノードは、各データブロックに対して、データファイルを取得するために情報ブロック、メタデータノード戻りますノード・データ・ブロックに格納されたアドレスデータ。
3)ファイルシステムFSDataInputStreamは、データを読み取るためのクライアントに返されると、クライアントは、データの読み取りを開始する読み取りストリーム()関数を呼び出します。
4)DFSInputStreamは、最新のノードデータの最初のデータブロック内のデータのクライアントノード(クライアント)から読み出されたデータを、ファイルを保存するために接続されています。
データ・ブロックが読み込まれた場合5)、DFSInputStream接続とデータノードを閉じ、この最新データノードにファイルデータブロックを接続します。
6)クライアントがデータを完了する読み取ると、近い呼び出しFSDataInputStream機能。
クライアントは、次に、データノードと通信し、このノードは、次のデータブロックを含む接続しようとする場合7)データの読み出し処理において、エラーが発生します。
8)データノードが後でもはや接続されて記録されません失敗しました。
4:ISCSIのエンタープライズ・ストレージ・ソリューションは、
1つのエンタープライズストレージカテゴリ:DAS(直接ストレージ)、NAS(ネットワーク接続ストレージ)、SAN(ストレージエリアネットワーク)。
2.DAS直接接続ストレージ:
1)を直接サーバに内部バスに取り付けられたDASストレージデバイスは、サーバは、構造の一部です。
使用2)DASストレージ環境:小規模ネットワーク、地理的に分散したネットワーク、アプリケーションサーバ。
3.NASネットワーク接続ストレージ:サービスに接続された文書記憶装置
1)ネットワーク接続ストレージネットワークである(TCP / IP、ATM、FDDI ) 技術、スイッチは、ネットワーク・ストレージ・システムとホスト・サーバを介して接続され、メモリに格納されたデータの確立に捧げプライベートネットワーク。
2)NAS管理モジュールは、ネットワーク(例えばLAN)、ファイルサービス管理モジュールと、複数のハードディスクドライブによって構成される記憶モジュールを含みます。
3)マスタサーバとクライアントがSMB形式(Windowsの場合)、NFSフォーマット(UNIX、Linuxの)およびCIFSフォーマットを含む、簡単にNAS上の任意の形式のファイルに保存することができます。NASシステムは、コンピュータからの指示に応じて内部ファイル管理サーバまたはクライアントを完了することができます。
4.SAN:ネットワーク・エリア・ストレージ
1)網状パス(ファイバ・チャネルは、専用のデータストレージエリアネットワークを確立するために、ストレージアレイとFCスイッチのサーバホストを接続することにより、)FC、ファイバチャネルファイバチャネルとの間の差と技術をいいます。
2)SANは、実際にはTCP / IPネットワーク、プライベートネットワークの特別に構築されたストレージは無関係です。SANは、一般にRAIDアレイを使用するいくつかのプロ中のSANの性能をSANネットワークは、独立したネットワークのデータに存在している間、転送速度4Gb /秒に現在一般の2Gb / Sを提供し、従って高速アクセス、追加の高SAN格納方式追跡。
3)SANにそれはプライベートネットワークをもとに、そのスケーラビリティは、SANシステムのストレージ容量を増やすか、いくつかのサーバーの使用ストレージ容量を追加することが確実であるかどうか、非常に強いですので、非常に便利です。SANシステムは、効率的な集中バックアップデータを容易にすることができます。
4)SANストレージカテゴリ:SCSIプロトコルを転送するFC-SANとIP-SAN、FC-SANは、ファイバチャネルプロトコルで、IP-SANは、TCP上でSCSIプロトコルを転送します。
5:主な機能は、カプセル化と信頼性のあるデータ送信処理の多数のためのホストシステム(イニシエータイニシエータ)と記憶装置(ターゲットターゲット)との間のTCP / IPネットワーク上のiSCSIです。さらに、iSCSIのIPネットワークのカプセル化は、データが格納されているように、SCSIコマンドを提供し、データ・ブロックの形でTCP上で実行されます。
。6:ISCSIコアコンセプト:
1)iSCSIターゲット(目標):手数料iSCSIおよびクローズドソースのためのターゲット・ソフトウェアの多くのデータ・ストレージ・ディスク・アレイ、又はデバイスISCSI iSCSIの機能を提供します。
2)LUN:ターゲット論理ユニットを接続すると、クライアントはアクセス制御が提供されます。
3)iSCSIイニシエータ:iSCSIのクライアントソフトウェアのWindowsとLinuxの接続iSCSIターゲット(目標)をサポートしています。
4)IQN:iSCSIプロトコルは、イニシエータとターゲットは、名前で通信することであり、従って、各iSCSIノード(すなわち、開始剤)のiSCSI名を有していなければなりません。IQN(iSCSI修飾名)の形式である: 『IQN』 +「」 『 年』 ++ 『逆ドメイン名』 + 『:デバイスの』 + 『は、特定の名前』、逆ドメイン名の理由の可能な競合を避けるために。

NFS:ネットワーク・ファイル・システムであるNFS(ネットワークファイルシステム)は、FreeBSDは、リソースを共有するためにTCP / IPネットワークを介してネットワーク上のコンピュータ間で可能にサポートされているファイルシステムです。NFSのアプリケーションでは、NFSクライアントのローカルアプリケーションには透過的にだけアクセスローカルファイルなどのリモートNFSサーバ上にあるファイルを読み書きすることができます。
NFSの利点:
ローカル記憶空間セーブ1は、一般的なデータは、NFSサーバ上に格納され、ネットワークを介してアクセスすることができ、ローカル端末自身が記憶空間を減少させるために使用することができます。
2.ユーザーは、ネットワーク内のすべてのマシン上で必要とされていないホームディレクトリがNFSサーバ上に置くことができ、ネットワークを使用してアクセスすることができ、ホームディレクトリを構築されています。
3.このようなので、フロッピーディスク、CDROMおよびZIP(高密度記憶ディスク及びディスクドライブ)とのような記憶デバイスの数は、ネットワーク上の他のマシンで使用することができます。これは、ネットワークを介してリムーバブルメディアデバイスの数を減らすことができます。

おすすめ

転載: www.cnblogs.com/ctng/p/11440944.html