オペレーティングシステムの最適化のHadoopの最適化

図1に示すように、ファイルシステムを最適化するために、デフォルトの背後に/ etc / fstabに追加noatimeオプションを変更するには、ファイルアクセス時間が記録されていない示します。

次のように改正:

あなたを有効にするには、オペレーティング・システム構成を再起動したくない場合は、それが実行されます:

#は、-o再マウントは/ dev /マッパー/ CentOSのルートマウント
#は-o再マウントは/ dev /マッパー/ CentOSの家庭をマウント  

もちろん、他のディスクがある場合、同じことがこれを行うことができ、私は2つの論理ボリュームにここでテスト

図2に示すように、プリフェッチバッファ

      先読み技術が効果的に大幅にシーケンシャルファイルの読み込みのパフォーマンスを向上させることができ、(デフォルトは、128キロバイト256個のセクタである)先読みバッファのLinuxファイルシステムのサイズを増やし、ディスクの数追求し、アプリケーションI / O待ち時間を短縮することができ、それを調整することが推奨されます1024のまたは2048年のセクターへ。プリフェッチ・バッファはBLOCKDEVコマンドを設定することによって達成することができます。

BLOCKDEVツールは、コマンドラインから次の共通パラメータをブロックデバイスを呼び出すことを可能にする:

   - Getraがプリフェッチ値を読み取る
   - ファイルシステム読み取り先読みgetfra
   - setfraのFSREADAHEAD提供されるファイルシステムの先読み
   - SETRAも、readAhead事前設定装置読み取り
   - getraを読み取る先読み装置
   - BLOCKSIZEオープンファイル記述子setbszブロックデバイスがブロックサイズで提供されたとき
   - 最適化されたIOをgetiooptサイズ読み取り    
   - getiomin読取装置IO最小サイズ
   - デバイス設定-setro読み取り専用
   - -getro読取装置が読み取り専用(読み取りと書き込みが成功した1,0)
   - それぞれ読み書きするように設定配置-setrw
   - セクタサイズ-getss印刷装置は、論理ブロックサイズと呼ばれ、典型的には512
   - 読取装置のgetpbsz物理ブロックサイズ、典型的には4096
   - getbsz読取装置のブロックサイズ、典型的には4096
   --getsize - (512バイトセクタとして計算能力getsz)印刷装置、
  - 容量getsize64印刷装置、バイト単位で表示
   --setra NはN N .SETに先読みのリードセクタ(512バイト)に設定512 - バイトセクタを。
   - -getra先読み印刷を(先読みセクタ地区)
   - -flushbufsをフラッシュ
  パーティションテーブルを再読み込み--rereadpt。

私たちは、デフォルトの先読み(256個のセクタ、128K)は、次のように特定の操作があり、上げて変更することができます。

[ルート@試験のpam.d]#1 DF - 時間
ファイルシステムサイズに使用無駄使用実装時
に/ dev /マッパ/ CentOSのルート60G 14G 47G   24%/ 
devtmpfs 474M      0   474M    0%/ devの
489M TMPFS      0   489M    0%/ devの/ SHM 
TMPFS 489M 14M 476M    3%/ 実行
489M TMPFS      0   489M    0%/ SYS / FS / cgroup内
の/ dev / SDA1 197M 143M 55M   73%/ ブート
/ dev /マッパー/ CentOSの家庭16G 37M 16G    1%/ 家庭
98M tmpfsの      0    98M    0%/実行/ユーザー/ 0 
[ルート@テストのpam.d]#BLOCKDEV --getraは/ dev / sda1を
 8192 
[ルート@テストPAM .D]#BLOCKDEV --setra 10240   の/ dev / SDA1 
[ルート@試験のpam.d]#BLOCKDEV --getraは/ dev / SDA1
 10240

3、仮想メモリのチューニング:

https://www.cnblogs.com/yinzhengjie/p/9994207.html

4、チューニングネットワークカード:

https://www.cnblogs.com/yinzhengjie/p/9995756.html

 

ます。https://www.cnblogs.com/yjt1993/p/10813896.htmlで再現

おすすめ

転載: blog.csdn.net/weixin_33881050/article/details/94046322