CDHインストール前の準備システムの最適化

参考:

https://www.cnblogs.com/yinzhengjie/p/10367447.html

https://www.sysit.cn/blog/post/sysit/CDH6.2.0%E7%B3%BB%E7%BB%9F%E9%83%A8%E7%BD%B2%E6%89%8B% E5の%86%8C

 

近くのファイアウォールとしてクラウド最適化centos7に基づいて行うことができない、のIPv6を無効にするステップ8がすることはできません。
財団の最適化:


:1 / SSH設定
SSH-keygenは-t RSA -P '' -fの〜/ .ssh / id_rsaと
、手動で他のマシンにコピーされたid_rsa.pubの内容を。

yumをansible -yインストール
のln -sは/ usr / local / pythonの/ binに/ ansible-脚本は/ usr / local / binに/
LN -sは/ usr / local / pythonの/ binに/ ansibleは/ usr / local / binに/
CDの/ etcを/ ansible
ます。mkdir脚本
#机器多的话可用ansible、需要手动输入密码。
猫1_ssh-コピーid.yml
---
-ホスト:すべての
タスク:
-名:クライアントにid_rsa.pubを届ける
authorized_key:
ユーザー: "ルート"
キー:「{{検索( 'ファイル'、「/root/.ssh /id_rsa.pub ')}}」
状態:本
排他:なし

 

1 /每台的/ etc / hostsの
[ルート@のfengfeng一時-2〜]#猫の/ etc / hosts
195.189.142.89 fengfeng一時1.novalocal
195.189.142.83 fengfeng一時2.novalocal
195.189.142.86 fengfeng-一時-3.novalocal
195.189.142.88 fengfeng一時4.novalocal

可用ansible-プレイブック3_copy.yml
---
-ホスト:クライアント
タスク:
-名前:コピー/ etc / hostsにクライアントホストに
コピーします。
SRC: "/ etc / hostsの"
DEST: "/ etc / hostsの"
力:はい
バックアップ:はい


2 /ディスプレイ最適化の
編集の/ etc / bashrcに

[ "$ PS1" = "S \\ - \\ V \\\ $"] && PS1 =「[\ [\ E [34は、1M \] \ U @ \ [\ E [0メートル\] \ [\ E [32万回\] \ H \ [\ E [0メートル\] \ [\ E [31万回\] \ \ [\ E [0メートル\] \\ $ "W

3 / systemctlステータスfirewalldは
firewalld停止systemctl
systemctl無効firewalld

4 /关闭DNS PTR反向查询
ansible CDH -mシェル-a "はgrepのUseDNSは、/ etc / ssh / sshd_config"
[[email protected]〜]#grepをUseDNSは、/ etc / ssh / sshd_config
#UseDNSはい
[ [email protected]〜]#sedの-iの#のUseDNS @はいUseDNS @なし@のG 'は、/ etc / ssh / sshd_config
[[email protected]〜]#grepをUseDNSの/ etc / SSH / sshd_configに
UseDNSなし

5 /关闭GSSAPI身份验证(のssh服务优化)
[[email protected]〜]#のはgrep GSSAPIAuthenticationは、/ etc / ssh / sshd_config
GSSAPIAuthenticationはい
[[email protected]〜]#SED -iさん@ ^ GSSAPIAuthenticationはい@ GSSAPIAuthenticationなし@ G 'は、/ etc / ssh / sshd_config
[[email protected]〜]#
[[email protected]〜]#のはgrep GSSAPIAuthenticationの/ etc / sshを/ sshd_configの
GSSAPIAuthenticationなし

6 / DNSの設定を確認
--fqdn [[email protected]〜]#ホスト名を
node100.fengfeng.org.cn

7 /关闭透明大页
[[email protected]〜]#viの/etc/rc.d/rc.localの
[[email protected]〜]#テール-8に/ etc / rcの.D / rc.localに
テスト-f / SYS /カーネル/ MM / transparent_hugepage /有効な場合。その後、
エコー決して> / SYS /カーネル/ MM / transparent_hugepage有効/
Fiの

場合、テスト-f / SYS /カーネル/ MM / transparent_hugepage /デフラグ。その後、
決して> / SYS /カーネル/ MM / transparent_hugepage /デフラグエコー
Fiの
+ X /etc/rc.d/rc.localの[[email protected]〜]#chmodコマンドを

ansible-プレイブック3_copy.yml
---
-ホスト:クライアント
タスク:
-名前:コピークライアントホストにrc.localには
コピー:
SRC: "/etc/rc.d/rc.localの"
DEST:「/etc/rc.dの/rc.local」
力:はい
バックアップ:はい


8 / Linuxカーネルパラメータを変更し、IPv6の無効化
[[email protected]を〜]は##尾-8に/etc/sysctl.confカーネルパラメータファイルの編集、次のLinuxカーネルパラメータの変更
Fengfengによって#Addの配置
FS。 = MAX-NR-AIO 1048576
net.core.rmem_default = 262144
net.core.wmem_default = 262144
のnet.core.rmem_max = 16777216
のnet.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 262144 4096 16777216
net.ipv4.tcp_wmem = 16777216 262144 4096
net.ipv6.conf.all.disable_ipv6。1 =
vm.swappiness = 10

スワップの説明を設定する:
ちょうどあなたがOOM、スワップが離陸していないことを確認してください。データノードは、32G、128G最善である場合は、オフにしないことがあり
、30%をデフォルトに上記10に転送されたスワップを使用した場合、90%がシステムによって占有されている
[ルート-TEMP-Fengfeng @〜。1]#sysctlの-q vm.swappiness
VM .swappiness = 30
スワップ始まる#30%、で表される残りの物理メモリ場合
にはswaponが-aである
のswaponは閉じ-s


[[email protected]〜]私たちを有効にする「に/etc/sysctl.conf」構成を利用することができます。#sysctlを-p#コマンドを

ansible-プレイブック3_copy.yml
---
-ホスト:クライアント
タスク:
-名前:コピーの/ etc /クライアントホストへのホストが
コピー:
SRC: "/etc/sysctl.confの"
DEST: "/etc/sysctl.confの"
力:はい
バックアップ:はい

上記のパラメータを説明した:
fs.aio-NR-MAX =最大#1048576同時I / O要求
net.core.rmem_default = 262144#オペレーティングシステムのデフォルト受信バッファサイズ
net.core.wmem_default = 262144#OSの送信バッファ既定のサイズ
のnet.core.rmem_max = 16777216#オペレーティングシステム受信最大バッファ
のnet.core.wmem_max = 16777216#OS最大送信バッファ
net.ipv4.tcp_rmem = 4096 262144 16777216#最小受信ウィンドウサイズを、デフォルト最大
net.ipv4.tcp_wmem = 4096 262144 16777216#最小送信ウィンドウサイズ、デフォルト、最大


9 /制限はファイル増加
[[email protected]〜]#のulimit -n#ソフトリミット
1024
[[email protected]〜]#
[[email protected]〜]を#ulimitの-Hn#ハードリミット、それは大きなデータクラスタ環境では、我々はデフォルトの設定を使用してはならない、ということは明らかである、Hortonworksは10,000以上を推奨します。
4096

パフォーマンスを最適化するために、システム上の制限を設定することにより
、[[email protected]〜] -7#テール/etc/security/limits.confを
Fengfeng BY #addは
*ソフトNOFILE 1048576
*ハード1048576 NOFILE
ソフト* 1048576 NPROC
* NPROC 1048576ハード
*ソフトMEMLOCK無制限
*ハードMEMLOCKアンリミテッド 
[[email protected]〜]#テール-3 /etc/security/limits.d/20-nproc.conf
Fengfeng BY #add
*ソフト1048576 NPROC
ルートソフトNPROC無制限

10 /ディスクスピードテスト
yumをインストールhdparmの-Y
[[email protected]〜]#hdparmの-tは/ dev / sdb1など
は/ dev / sdb1など:
3.01秒MB = 832.18メガバイト/秒で2502:タイミングは、ディスクのバッファリング読み取り#あなたが70メガバイト速度よりも多くが表示されない場合は
、テスト書き込み速度:
DDのBS = 8K 8kを400MBへのCONVのCOUNT = =は/ dev / ZERO = test.log =はfdatasync #ucloudができるかどうか/ sの

おすすめ

転載: www.cnblogs.com/hongfeng2019/p/11271915.html