数日前、会社は非常に遅いクエリを持っていclickhouse。CPUは減速またはIOが高すぎる、またはその他の理由を占有するだけでは十分ではない理由を管理者が求めてきました。だから、行って次の資料のトラブルシューティングで、SQLの最適化を考慮せずに、パフォーマンスのトラブルシューティング
1、まず、トップ第三列CPU情報統計万能薬です。
％の人々（S）：0.3私たちは、SY 0.2、0.0、NI、99.5 ID、0.0倍、0.0 HI、SI 0.0、0.0 ST
`
CPU（S）：
0.3％US：CPUのパーセンテージによって占有ユーザ空間
コア（システム）CPUの割合が占める空間：0.2％SY
0.0％のNi：ユーザプロセス空間優先度処理はCPU-百分率変化
99.7％番号： CPUのアイドル率
0.0％のWA：のCPU時間の割合の入力と出力を待っている
0.0％のHI：ハードウェアのCPUは、の占有率割り込み
のソフト割り込み占有率：0.0％siを
仮想マシン（仮想化技術）占有率：0.0％ST
KiBのMemの：13142010 +合計、54558996、49383624を使用無料、27477484 BUFF /キャッシュ
1004768k合計：総物理メモリ
463092k使用：物理メモリの合計使用量が
541676kフリー：メモリの空き量
64316kバッファ：カーネル・キャッシュとして使用するメモリ量
KiBのスワップ：67108860合計、64400272フリー、2708588を使用。80281728無駄Memの
総694268k：総交換ゾーン
に使用0 K：総量使用スワップ
フリー694268k：アイドル総交換面積
224884kがキャッシュ：バッファの総面積は交換しました
`
SQLの実行されません 
SQLを実行するとき
このプロセスのCPU使用率はほとんど使用2coreを占め、200パーセントですが、サーバーのみ4.4 CPU使用率の合計（サーバー48core）が、上記の比較では、我々はclickhouseを見ることができます。空きメモリが比較的高いです。
次いで入出力を待っているCPU時間の割合に相当する比較的高いWA、WAがあります。
だから、pidstatのiostatのハイライトとなる（実際にはすでに高いioの推測）Ioが高くなっていると思います
2、pidstat
clickhouseの下にキャッシュをクリアします。
＃のClickhouseにlinuxがページにキャッシュされているキャッシュ の同期 エコー3> / proc / sys / vm / drop_cachesと ＃のコマンドの意味：I / Oの統計情報を表示し、更新毎秒 pidstatは1 -d
SQLを実行しない場合
11時24分33秒UIDのPID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 5 34 24秒990 9048 26025.93 0.00 0.00ジャワである 。11 5 34 24秒990 442 735 10540.74 0.00 0.00デュある 。11 5 34 24秒UID PIDでありますkB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 24 35 5秒9909048 446,176.00 0.00 0.00ジャワ 。11 24 35 5秒UID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 24 36 5秒9909048 22112.00 0.00 0.00のJava 11 5 36秒の24 UID PID kB_rd / S kB_wr / S kB_ccwr / sコマンド 11 5 37 24 [秒990 9048 14436.00 0.00 0.00ジャワ 。11 5 37 24 [秒UID PID kB_rd / S kB_wr / S kB_ccwr / sコマンド 11時24分38秒990 9048 20964.00 0.00 0.00 Javaの 11時24分38秒UID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 24 39 5秒990 9048 19136.00 0.00 0.00ジャワ 。11 24 39 5秒0247761プレスト・サーバー8.00 0.00 0.00 `` ` SQLを実行行っpidstatは、コマンドは結果を示し 、 ` 11 21分47秒UID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11時21分48秒990 9048 12381.48 0.00 0.00ジャワ 。11 21分48秒983 124101 0.00 3.70 0.00ジャワ 。11 21 5 48秒963 348889 153,166.67 3.70 0.00 clickhouse-Servのである 。11 21 5 48秒UID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンドである 。11 21 5 49秒9909048 22996.00 0.00であります0.00のJava 。11 21 5 49秒962 78 518 356.00 0.00 0.00 zabbix_agentdである 。11 21 5 49秒963 348889 93948.00 0.00 0.00 clickhouse-SERVである 。11 21 5 49秒であるUID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 21 5であります50秒0 1323 0.00 16.00 0.00 jbd2 / SDB-。8 。11 21 5 50秒0 4251 0.00 12.00 0.00ジャワである 。11 21 990 9048 17576.00 0.00 0.00 Java 5の50秒である 。11 21 5 50秒963であり348889 150992.00 4.00 0.00 clickhouse-SERVは 11時21分50秒UID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 21 5 51である秒990 9048 24484.00 0.00 0.00ジャワである 。11 21 5 51である場合秒963 348889 151,164.00 0.00 0.00 clickhouse-SERVである 。11 21 5 51である場合秒UID PID kB_rd / S kB_wr / S kB_ccwr / Sコマンド 。11 21 5 52である場合秒990 9048 16096.00 0.00 0.00ジャワである 。11 21 5 52である場合秒千148 747 0.00 8.00 0.00のmysqldである 。11 21 5 52である場合clickhouse-SERV 175228.00 0.00 0.00 963 348889秒
明らかに175228.kB / 171M /秒に変換sまでのioのディスクを読んでclickhouse。しかし、ここで私はデータディレクトリが7枚のディスクに割り当てられているclickhouse、171M /秒の7ディスク読み込み速度が非常に高いものではない、単一のディスクがうまく実行し、120M / sのことができます。しかし、この時間は、パフォーマンスのボトルネックは、IOを決定することはほとんど可能です
3、iostatの
まず、キャッシュをクリア
どのディスクデバイス高いIO負荷を決定するために「-x 1のiostat」コマンドを使用します。 -x 1のiostat
私はDATA1側の吊り2 3 4 5 6 7
df -l ev/sda1 1038336 145704 892632 15% /boot /dev/sdf 2306651404 460825460 1728631192 22% /data5 /dev/sdh 2306651404 1097399924 1092056728 51% /data7 /dev/sdb 2306651404 1086978144 1102478508 50% /data1 /dev/sde 2306651404 796331792 1393124860 37% /data4 /dev/sdd 2306651404 899894556 1289562096 42% /data3 /dev/sdg 2306651404 628524548 1560932104 29% /data6 /dev/sdc 2306651404 1796066508 393390144 83% /data2
未执行sql时
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 5.00 8.00 13.00 56.00 10.62 0.01 0.69 1.80 0.00 0.69 0.90
sdb 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdc 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.37 46.75 46.75 0.00 6.38 5.10
sdd 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.51 64.00 64.00 0.00 8.62 6.90
sde 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.17 21.75 21.75 0.00 5.38 4.30
sdf 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.08 9.62 9.62 0.00 2.00 1.60
sdh 0.00 0.00 64.00 0.00 1812.00 0.00 56.62 0.14 2.12 2.12 0.00 1.28 8.20
sdg 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.12 15.00 15.00 0.00 2.00 1.60
sdi 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.13 16.75 16.75 0.00 2.25 1.80
sdj 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdk 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdl 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.16 19.88 19.88 0.00 2.62 2.10
sdn 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdm 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdp 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdq 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdr 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.20 25.62 25.62 0.00 6.12 4.90
sds 0.00 0.00 1.00 0.00 24.00 0.00 48.00 0.02 16.00 16.00 0.00 16.00 1.60
sdt 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 5.00 8.00 13.00 56.00 10.62 0.01 0.69 1.80 0.00 0.69 0.90
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
avg-cpu: %user %nice %system %iowait %steal %idle
0.52 0.00 0.29 0.06 0.00 99.12
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdb 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.19 23.50 23.50 0.00 3.00 2.40
sdc 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sde 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdf 0.00 0.00 1.00 0.00 128.00 0.00 256.00 0.00 0.00 0.00 0.00 0.00 0.00
sdh 0.00 0.00 13.00 0.00 2432.00 0.00 374.15 0.12 9.31 9.31 0.00 3.46 4.50
sdg 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdi 0.00 0.00 1.00 0.00 128.00 0.00 256.00 0.00 0.00 0.00 0.00 0.00 0.00
sdj 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.14 17.12 17.12 0.00 2.25 1.80
sdk 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.15 19.00 19.00 0.00 2.50 2.00
sdl 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdn 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.17 21.38 21.38 0.00 2.88 2.30
sdo 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.33 40.75 40.75 0.00 5.88 4.70
sdm 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.14 18.00 18.00 0.00 2.38 1.90
sdp 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.11 13.75 13.75 0.00 1.88 1.50
sdq 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.09 11.25 11.25 0.00 1.62 1.30
sdr 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sds 0.00 0.00 9.00 0.00 1828.00 0.00 406.22 0.20 22.78 22.78 0.00 2.67 2.40
sdt 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.01 1.50 1.50 0.00 0.38 0.30
dm-0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
执行sql时：
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 448.00 2.00 15168.00 8.00 67.45 0.85 1.88 1.89 0.00 1.82 81.90
sdb 0.00 0.00 1481.00 0.00 190052.00 0.00 256.65 42.70 23.77 23.77 0.00 0.68 100.30
sdc 0.00 0.00 1.00 0.00 128.00 0.00 256.00 0.00 0.00 0.00 0.00 0.00 0.00
sdd 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.07 8.75 8.75 0.00 4.12 3.30
sde 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdf 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdh 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdg 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.16 19.75 19.75 0.00 5.12 4.10
sdi 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdj 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.37 46.38 46.38 0.00 7.62 6.10
sdk 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.19 24.00 24.00 0.00 3.12 2.50
sdl 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdn 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdo 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.13 16.12 16.12 0.00 5.50 4.40
sdm 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.01 1.50 1.50 0.00 0.25 0.20
sdp 0.00 0.00 10.00 0.00 2096.00 0.00 419.20 0.21 21.10 21.10 0.00 5.00 5.00
sdq 0.00 0.00 3869.00 0.00 15476.00 0.00 8.00 2.98 0.77 0.77 0.00 0.20 77.50
sdr 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.27 33.25 33.25 0.00 6.88 5.50
sds 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.20 24.50 24.50 0.00 3.12 2.50
sdt 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
dm-0 0.00 0.00 448.00 2.00 15156.00 8.00 67.40 0.85 1.89 1.90 0.00 1.82 81.80
dm-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
avg-cpu: %user %nice %system %iowait %steal %idle
9.43 0.00 2.47 29.14 0.00 58.96
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util
sda 0.00 0.00 699.00 0.00 9424.00 0.00 26.96 0.50 0.72 0.72 0.00 0.59 40.90
sdb 0.00 4.00 1415.00 4.00 182672.00 32.00 257.51 49.25 37.00 37.11 0.00 0.71 100.30
sdc 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.02 2.50 2.50 0.00 0.50 0.40
sdd 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sde 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.17 21.12 21.12 0.00 2.88 2.30
sdf 0.00 0.00 19.00 0.00 4116.00 0.00 433.26 0.32 16.84 16.84 0.00 3.11 5.90
sdh 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.34 42.00 42.00 0.00 5.88 4.70
sdg 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdi 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.41 50.62 50.62 0.00 6.88 5.50
sdj 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdk 0.00 0.00 1.00 0.00 128.00 0.00 256.00 0.00 0.00 0.00 0.00 0.00 0.00
sdl 0.00 0.00 8.00 0.00 2048.00 0.00 512.00 0.31 38.88 38.88 0.00 5.25 4.20
sdn 0.00 0.00 6.00 0.00 1508.00 0.00 502.67 0.25 42.00 42.00 0.00 7.67 4.60
sdo 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdm 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdp 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
sdq 0.00 0.00 3989.00 0.00 17968.00 0.00 9.01 1.58 0.40 0.40 0.00 0.19 77.40
sdr 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
很明显 sdb 对于的磁盘 使用率达到了 100% 读的速度为 155756kB/s 对于 152M/s
/dev/sdb 2306651404 1086978144 1102478508 50% /data1
data1 就是我们的一块数据盘。
这下就时很明显，改sql 查询慢的瓶颈就是IO