Linux パフォーマンス チューニング - メモリ

Linux メモリの仕組み

メモリマッピングの概念

  ほとんどのコンピュータで使用されるメイン メモリはダイナミック ランダム アクセス メモリ (DRAM) であり、物理メモリに直接アクセスできるのはカーネルだけです。Linux カーネルはプロセスごとに独立した仮想アドレス空間を提供し、このアドレス空間は連続的です。このようにして、プロセスはメモリに簡単にアクセスできます (仮想メモリ)。

  仮想アドレス空間の内部はカーネル空間とユーザー空間に分かれており、ワード長が異なるプロセッサではアドレス空間の範囲が異なります。32 ビット システムのカーネル空間は 1G を占有し、ユーザー空間は 3G を占有します。64 ビット システムのカーネル空間とユーザー空間は両方とも 128T で、それぞれメモリ空間の最高位と最低位の部分を占め、中間部分は未定義です。

  すべての仮想メモリが物理メモリに割り当てられるわけではなく、実際に使用されるメモリのみが割り当てられます。割り当てられた物理メモリは、メモリ マッピングを通じて管理されます。メモリ マッピングを完了するために、カーネルはページテーブル、仮想アドレスと物理アドレスの間のマッピング関係を記録します。ページ テーブルは実際には CPU のメモリ管理ユニット MMU に格納されており、プロセッサはハードウェアを介してアクセスするメモリを直接見つけることができます。

  プロセスによってアクセスされた仮想アドレスがページ テーブルで見つからない場合、システムはページ フォールト例外を生成し、カーネル空間に入って物理メモリを割り当て、プロセスのページ テーブルを更新して、ページの置換、ユーザー空間に戻ってプロセスの実行を再開します。

  MMU は、ページ サイズが 4KB のページ単位でメモリを管理します。ページテーブルエントリが多すぎる問題を解決するために、Linux は次の機能を提供します。マルチレベルのページテーブルそして巨大なページメカニズム。

  Linux はまた、ファイル システムとブロック デバイスのキャッシュを保存するためにメモリの一部を使用し、ファイルとブロック デバイスへのアクセスを高速化します。これは呼ばれますファイルシステムキャッシュまたはページキャッシュ。

  Linux は使用頻度の低いメモリ ページをディスクにスワップできるスワップパーティション（スワップ パーティション）他のプロセスで使用できるように物理メモリを解放します。スワップ領域の使用は物理メモリが不足した場合の手段ですが、スワップを使いすぎるとパフォーマンスが低下します。

仮想メモリ空​​間の分散

  ユーザー空間メモリは、低位から高位まで 5 つの異なるメモリ セグメントに分割されます。

  読み取り専用セグメント コードや定数などのデータ セグメントグローバル変数などのヒープ動的に割り当てられたメモリ (下位アドレスから上向きに増加)ファイル マッピング動的ライブラリ、共有メモリなど、上位アドレスから下向きに増加スタックにはローカル変数と関数呼び出しなどのコンテキストに応じて、スタック サイズは固定されます。通常は8MB
  
  
  
  

メモリの割り当てとリサイクル

配布する

  メモリの小さなブロック (<128K) の場合は、ヒープの先頭位置を移動して割り当てます。メモリは解放後すぐには返されず、キャッシュされます。
  大きなメモリ ブロック (>128K) の場合は、メモリ マッピングを使用して直接割り当てます。つまり、ファイル マッピング セグメントで空きメモリ割り当てを見つけます。

  前者のキャッシュはページフォールト例外の発生を減らし、メモリアクセス効率を向上させることができます。ただし、メモリはシステムに返されないため、メモリがビジー状態のときにメモリの割り当て/解放が頻繁に行われると、メモリの断片化が発生します。

  後者は解放時にシステムに直接返されるため、毎回ページフォールト例外が発生します。メモリ作業がビジーな場合、メモリ割り当てが頻繁に行われると、大量のページ フォールト例外が発生し、カーネル管理の負担が増加します。

リサイクル

  メモリが不足している場合、システムは次の方法でメモリを再利用します。

  · キャッシュのリサイクル: LRU アルゴリズムにより、最も最近使用されていないメモリ ページがリサイクルされます。
  · アクセス頻度の低いメモリのリサイクル: スワップ パーティションを通じて、使用頻度の低いメモリをディスクに書き込みます。
  · プロセスを強制終了します。

メモリの表示と分析

メモリ使用量を表示する

コマンド: 無料

  次のコマンドを入力します。

free -h

  出力は次のとおりです。

              总计         已用        空闲      共享    缓冲/缓存    可用
内存：        62Gi       9.2Gi        22Gi       1.4Gi        31Gi        51Gi
交换：       2.0Gi       1.9Gi        62Mi

• Total : 物理メモリの合計容量。この例では、システムには合計 62 GB の物理メモリがあります。

• Used : システムとプロセスによって現在使用されているメモリの量。この例では、9.2 GB のメモリが使用されています。

• Free : 現在使用されていないメモリの量。この例では、22 GB のメモリが空きます。

• Shared : 複数のプロセスによって共有されるメモリの量。この例では、複数のプロセスによって共有される 1.4 GB のメモリがあります。

• バッファ/キャッシュ: ファイル システムのキャッシュとディスク I/O バッファリングに使用されるメモリの量。この例では、バッファリングとキャッシュに 31 GB のメモリが使用されます。

• 利用可能: システムは、将来解放される可能性のあるメモリを含む、新しいプロセスに利用可能なメモリの量を推定します。この例では、51 GB のメモリが使用可能であると推定されます。

  スワップ領域について:

• Total Swap : システム内のスワップ領域の合計容量。この例では、システムには合計 2.0 GB のスワップ領域があります。

• Used Swap : スワップ領域で現在使用されている量。この例では、1.9 GB のスワップ領域が使用されています。

• Free Swap : 残りの未使用のスワップ領域の量。この例では、62 MB のスワップ領域が空いています。

  全体として、メモリの大部分が空きであり、かなりの量のバッファリングとキャッシュが利用可能なため、システムの物理メモリ使用量は比較的寛大であるように見えます。スワップ領域もわずかしか使用されていませんが、スワップ領域を過剰に使用するとパフォーマンスに影響を与える可能性があるため、これは良い兆候です。システムのパフォーマンスがまだ良好であれば、現在のメモリとスワップ領域の使用量は許容できる可能性があります。ただし、システムでパフォーマンスの問題が発生している場合は、プロセスとサービスのメモリ使用量をさらに分析して、最適化やメモリの追加などのさらなるアクションが必要かどうかを判断する必要がある場合があります。

コマンド: vmstat

  次のコマンドを入力して、5 秒ごとにカウントします。

vmstat 5

  出力は次のとおりです。

  結果の説明

• r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

• b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

• swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

• free 空闲的物理内存的大小。

• buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存

• cache cache直接用来记忆我们打开的文件,给文件做缓冲，这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。

• si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

• so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

• bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

• bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

• in 每秒CPU的中断次数，包括时间中断

• cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

• us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

• sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

• id 空闲CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

• wt 等待IO CPU时间

命令：top

  输入以下命令，随后再输入M表示按照内存占用率排序：

top

  输出如下：

  从上图可以发现，内存占用率较高的是jsvc和mysql。jsvc可能并不知道是个什么命令，所以我们进一步分析单个进程。

分析单个进程

命令：ps -p

  查看进程1180的运行信息：

ps -p 1180 -o pid,ppid,%cpu,%mem,cmd

  输出如下：

  cmd表示查看这个进程的执行命令，最终锁定1180进程是tomcat的守护进程。