Ajuste de desempenho do Linux - memória

Como funciona a memória Linux

O conceito de mapeamento de memória

  A memória principal usada na maioria dos computadores é a memória dinâmica de acesso aleatório (DRAM), e somente o kernel pode acessar diretamente a memória física. O kernel do Linux fornece um espaço de endereço virtual independente para cada processo, e esse espaço de endereço é contínuo. Desta forma, o processo pode acessar facilmente a memória (Memória virtual)。

  O interior do espaço de endereço virtual é dividido em duas partes: espaço do kernel e espaço do usuário. O intervalo do espaço de endereço de processadores com diferentes comprimentos de palavra é diferente. O espaço do kernel do sistema de 32 bits ocupa 1G e o espaço do usuário ocupa 3G. O espaço do kernel e o espaço do usuário dos sistemas de 64 bits são ambos 128T, ocupando as partes mais alta e mais baixa do espaço de memória, respectivamente, e a parte intermediária é indefinida.

  Nem toda memória virtual é alocada como memória física, apenas aquela realmente usada. A memória física alocada é gerenciada por meio de mapeamento de memória. Para completar o mapeamento de memória, o kernel mantém umtabela de páginas, registre o relacionamento de mapeamento entre o endereço virtual e o endereço físico. A tabela de páginas é, na verdade, armazenada na unidade de gerenciamento de memória da CPU, MMU, e o processador pode descobrir diretamente a memória a ser acessada através do hardware.

  Quando o endereço virtual acessado pelo processo não pode ser encontrado na tabela de páginas, o sistema irá gerar uma exceção de falha de página, entrar no espaço do kernel para alocar memória física, atualizar a tabela de páginas do processo e executarsubstituição de páginae, em seguida, retorne ao espaço do usuário para retomar a execução do processo.

  A MMU gerencia a memória em unidades de páginas, com tamanho de página de 4 KB. Para resolver o problema de muitas entradas na tabela de páginas, o Linux fornecetabela de páginas multinívelePágina enormeMecanismos.

  O Linux também usa uma parte da memória para armazenar caches de sistemas de arquivos e bloquear dispositivos para acelerar o acesso a arquivos e bloquear dispositivos. isso é chamadocache do sistema de arquivosouCache de página。

  Linux pode trocar páginas de memória raramente usadas para discopartição de troca(partição swap) para liberar memória física para uso por outros processos. O uso de espaço de troca é um meio quando a memória física é insuficiente, mas o uso excessivo de troca reduzirá o desempenho.

Distribuição de espaço de memória virtual

  A memória do espaço do usuário é dividida em cinco segmentos de memória diferentes, de baixo a alto:

  Segmento somente leitura Segmento de dados , como código e constantes Pilha, como variáveis ​​globais Memória alocada dinamicamente, crescendo para cima a partir do endereço inferior Mapeamento de arquivos Biblioteca dinâmica, memória compartilhada, etc., crescendo para baixo a partir do endereço superior A pilha inclui variáveis ​​locais e o contexto de chamadas de função, etc., o tamanho da pilha é fixo. Normalmente 8MB
  
  
  
  

Alocação e reciclagem de memória

distribuir

  Para pequenos blocos de memória (<128K), aloque movendo a posição superior do heap. A memória não é retornada imediatamente após ser liberada, mas é armazenada em cache.
  Para grandes blocos de memória (>128K), aloque diretamente usando o mapeamento de memória, ou seja, encontre uma alocação de memória livre no segmento de mapeamento de arquivo.

  O cache do primeiro pode reduzir a ocorrência de exceções de falha de página e melhorar a eficiência do acesso à memória. No entanto, como a memória não é devolvida ao sistema, a alocação/liberação frequente de memória causará fragmentação da memória quando a memória estiver ocupada.

  Este último é retornado diretamente ao sistema quando liberado, portanto, uma exceção de falha de página ocorrerá sempre. Quando o trabalho da memória está ocupado, a alocação frequente de memória causará um grande número de exceções de falha de página, aumentando a carga de gerenciamento do kernel.

Reciclar

  Quando a memória está fraca, o sistema recupera memória das seguintes maneiras:

  · Reciclar cache: o algoritmo LRU recicla as páginas de memória usadas menos recentemente;
  · Reciclar a memória acessada com pouca frequência: grava a memória usada com pouca frequência no disco através da partição swap
  · Eliminar o processo

Visualização e análise de memória

Ver uso de memória

Comando: grátis

  Digite o seguinte comando:

free -h

  A saída é a seguinte:

              总计         已用        空闲      共享    缓冲/缓存    可用
内存：        62Gi       9.2Gi        22Gi       1.4Gi        31Gi        51Gi
交换：       2.0Gi       1.9Gi        62Mi

• Total : Capacidade total da memória física. Neste exemplo, o sistema possui um total de 62 GB de memória física.

• Usado : A quantidade de memória usada atualmente pelo sistema e pelos processos. Neste exemplo, foram utilizados 9,2 GB de memória.

• Livre : a quantidade de memória não utilizada no momento. Neste exemplo, 22 GB de memória estão livres.

• Compartilhada : a quantidade de memória compartilhada por vários processos. Neste exemplo, há 1,4 GB de memória compartilhada por vários processos.

• Buffer/Cache : A quantidade de memória usada para cache do sistema de arquivos e buffer de E/S de disco. Neste exemplo, 31 GB de memória são usados ​​para buffer e cache.

• Disponível : O sistema estima a quantidade de memória disponível para novos processos, incluindo memória que pode ser liberada no futuro. Neste exemplo, estima-se que 51 GB de memória estejam disponíveis.

  Sobre o espaço de troca:

• Troca Total : A capacidade total do espaço de troca no sistema. Neste exemplo, o sistema tem um total de 2,0 GB de espaço de troca.

• Swap usado : a quantidade atualmente usada no espaço de swap. Neste exemplo, foram usados ​​1,9 GB de espaço de troca.

• Troca Livre : A quantidade de espaço de troca não utilizado restante. Neste exemplo, 62 MB de espaço de troca estão livres.

  No geral, o uso da memória física do sistema parece ser relativamente adequado, já que a maior parte da memória está livre e há uma quantidade razoável de buffer e cache disponíveis. O espaço de troca também é pouco usado, o que é um bom sinal, já que o uso excessivo do espaço de troca pode afetar o desempenho. Se o desempenho do sistema ainda for bom, o uso atual da memória e do espaço de troca poderá ser aceitável. No entanto, se o seu sistema estiver enfrentando problemas de desempenho, talvez seja necessário analisar mais detalhadamente o uso de memória de processos e serviços para determinar se são necessárias ações adicionais, como otimização ou memória adicional.

Comando: vmstat

  Digite o seguinte comando para contar a cada 5 segundos:

vmstat 5

  A saída é a seguinte:

  Descrição do resultado

• r 表示运行队列(就是说多少个进程真的分配到CPU)，我测试的服务器目前CPU比较空闲，没什么程序在跑，当这个值超过了CPU数目，就会出现CPU瓶颈了。这个也和top的负载有关系，一般负载超过了3就比较高，超过了5就高，超过了10就不正常了，服务器的状态很危险。top的负载类似每秒的运行队列。如果运行队列过大，表示你的CPU很繁忙，一般会造成CPU使用率很高。

• b 表示阻塞的进程,这个不多说，进程阻塞，大家懂的。

• swpd 虚拟内存已使用的大小，如果大于0，表示你的机器物理内存不足了，如果不是程序内存泄露的原因，那么你该升级内存了或者把耗内存的任务迁移到其他机器。

• free 空闲的物理内存的大小。

• buff Linux/Unix系统是用来存储，目录里面有什么内容，权限等的缓存

• cache cache直接用来记忆我们打开的文件,给文件做缓冲，这里是Linux/Unix的聪明之处，把空闲的物理内存的一部分拿来做文件和目录的缓存，是为了提高 程序执行的性能，当程序使用内存时，buffer/cached会很快地被使用。

• si 每秒从磁盘读入虚拟内存的大小，如果这个值大于0，表示物理内存不够用或者内存泄露了，要查找耗内存进程解决掉。我的机器内存充裕，一切正常。

• so 每秒虚拟内存写入磁盘的大小，如果这个值大于0，同上。

• bi 块设备每秒接收的块数量，这里的块设备是指系统上所有的磁盘和其他块设备，默认块大小是1024byte，我本机上没什么IO操作，所以一直是0，但是我曾在处理拷贝大量数据(2-3T)的机器上看过可以达到140000/s，磁盘写入速度差不多140M每秒

• bo 块设备每秒发送的块数量，例如我们读取文件，bo就要大于0。bi和bo一般都要接近0，不然就是IO过于频繁，需要调整。

• in 每秒CPU的中断次数，包括时间中断

• cs 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目,例如在apache和nginx这种web服务器中，我们一般做性能测试时会进行几千并发甚至几万并发的测试，选择web服务器的进程可以由进程或者线程的峰值一直下调，压测，直到cs到一个比较小的值，这个进程和线程数就是比较合适的值了。系统调用也是，每次调用系统函数，我们的代码就会进入内核空间，导致上下文切换，这个是很耗资源，也要尽量避免频繁调用系统函数。上下文切换次数过多表示你的CPU大部分浪费在上下文切换，导致CPU干正经事的时间少了，CPU没有充分利用，是不可取的。

• us 用户CPU时间，我曾经在一个做加密解密很频繁的服务器上，可以看到us接近100,r运行队列达到80(机器在做压力测试，性能表现不佳)。

• sy 系统CPU时间，如果太高，表示系统调用时间长，例如是IO操作频繁。

• id 空闲CPU时间，一般来说，id + us + sy = 100,一般我认为id是空闲CPU使用率，us是用户CPU使用率，sy是系统CPU使用率。

• wt 等待IO CPU时间

命令：top

  输入以下命令，随后再输入M表示按照内存占用率排序：

top

  输出如下：

  从上图可以发现，内存占用率较高的是jsvc和mysql。jsvc可能并不知道是个什么命令，所以我们进一步分析单个进程。

分析单个进程

命令：ps -p

  查看进程1180的运行信息：

ps -p 1180 -o pid,ppid,%cpu,%mem,cmd

  输出如下：

  cmd表示查看这个进程的执行命令，最终锁定1180进程是tomcat的守护进程。