Linuxのメモリ管理(最も徹底した1)[オン]

転送:https://www.cnblogs.com/ralap7/p/9184773.html

要約:この章では、カーネルのメモリ管理の漸進的な深化に基づいて、Linuxのメモリ管理のプロセスでのアプリケーション開発者の表情で始まり、物理的なシステムのカーネルメモリの使用状況を議論します。外側から内側に努め、熟したガイドユーザーは、メモリ管理およびLinuxの使用を分析します。最後の章では、我々はユーザーとカーネルメモリ管理、メモリ管理との関係を理解するユーザーを支援するためにメモリマッピングの例を与え、我々は最終的に、Linuxのメモリ管理を管理することができるように願っています。

序文

すべてのメモリ管理の内容は、常にオペレーティングシステムが市場でオンラインまたは使用可能なメモリ管理に関わるテキストや資料が殺到しているかどうか、けちなブックに焦点を当ててきました。だから、ここでは、ない理論的なレベルから専門家まで、笑いを回避的な戦術を取るために、Linuxのメモリ管理を記述します。ほとんどがしたい我々は可能性と開発者の視点から、メモリ管理の理解についての話は、最終的な目標は、Linuxのメモリ管理と共有のカーネル開発と理解のメモリで私たちの経験を使用することです。

もちろん、この1と実践の理解の発展を導く、これだけ下に取得することではない、それを越えて行くために、私たちは、このような、メモリ管理などのページ・セグメントなどの基本的な理論の一部をカバーしますが、私たちの目的は、理論を強調することではなく、。

フォロー(私はこれの有罪だった「理論は、実践から来ている」「ドグマ」、我々は最終的に確認するために、カーネルにドリルする必要はありません突然のすべてがシステムメモリを管理する方法であるので、困惑Sidongfeidongにあなたを作る傾向にあります間違っています!)。だから、最良の方法は、メモリを使用する方法の過程を観察し、我々は、メモリの使用をより直感的に理解してまで待って、その後、深いカーネル・メモリにするために、外部(ユーザプログラミングカテゴリ)で開始することがいかに経営理論を学ぶことです。最後に、プログラムの例を介してコンテンツ支配を話されます。

プロセスとメモリ

どのようにメモリのプロセスを使用するには?

間違いなく、すべてのプロセス(プログラム実行)ようにユーザ入力から特定のディスクからロードされるか、ストア・プログラム・コードに使用されるメモリの量、またはストアデータを占有し、しなければなりません。これらのメモリの管理のプロセスは、メモリの使用により変動と同じではありません。しかし、いくつかのメモリは静的に事前統一回復に割り当てられているが、いくつかは、動的なニーズと回復に応じて割り当てられています。

任意の通常のプロセスが関係しているために、それはデータの五つの異なる部分を含むことになります。これらのセグメントであると考えることができ、ほとんどのプログラミング知識の友人は、「コードセグメント」、「プログラム・データ・セグメント」、「プログラム・スタック・セグメント」などが含まれています。はい、データセグメントのこれらのタイプは、その中にあるが、上記のいくつかのセグメントに加えて、プロセスは、さらに、二つのデータセグメントを含みます。私たちは単純に含まれるプロセスに対応するメモリ空間の五つの異なるデータ領域を要約してみましょう。

コード・セグメント:コードセグメントは、操作指示の実行可能ファイルを格納するために使用され、それはそれはメモリに実行可能イメージであるということです。コードセグメントは、これだけの読み取り操作を許可されますが、書き込み(修正)する操作を許可しない、実行時に不正な変更を防止する必要がある-それは書き込み可能ではありません。

データセグメント:セグメントは、換言すれば、記憶されたプログラムは、静的に割り当てられ、実行可能ファイルは、グローバル変数を初期化された格納するために使用される[1]変数およびグローバル変数。

BSSセクションは、[2]:BSSセクションはプログラム、メモリのbssセクションにゼロにセット全体で初期化されていないグローバル変数を含んでいます。

ヒープ(ヒープ):ヒープメモリ・セグメントで実行中のプロセスを格納するために使用される動的動的に拡大または縮小し、そのサイズは固定されていない、割り当てられています。プロセスは、メモリおよび他の機能を割り当てるmalloc関数呼び出したとき、新たに割り当てられたメモリを動的ヒープ(ヒープ拡張)に添加し、メモリを解放するために自由な機能を使用する場合、メモリが解放され拒否され(スタックが減少する)ヒープから

スタック:スタックは、我々はブラケットを機能することを意味し、一時的に作成したユーザプログラムを格納するためのローカル変数である「{}」変数定義(ただし、変数を含まないが静的変数はデータセグメントに格納されていることを意味し、静的と宣言しました)。関数が呼び出されたときに加えて、そのパラメータは、呼び出されたプロセス・スタックを開始するためにプッシュされ、コールが終了するまで、戻り値は、バックスタックに格納されます。FIFOスタックの特性により、スタックは保存/呼び出しサイトを復元するために特に便利です。この意味で、我々は預金、為替データの一時記憶領域として積み重ねることができます。

これらの領域のプロセスを整理する方法は?

メモリ位置が連続しており、コードセグメントとスタックが別個に維持される傾向がある - データセグメント内のこれらの複数のメモリ領域は、BSSとヒープは、通常、連続的に格納されています。興味深いことに、ヒープと2つの地域の関係を積み重ねは、彼らがアップし、相対的な、「長い」生まれ「長い」(スタックダウン、盛り上げのi386アーキテクチャ)「あいまいな」ダウンしていました。(次の例のプログラムからそれを計算することができますどのくらいの最後には大きな)大きなそれらの間の間隔は、めったに一緒に会う機会を持っていないので、しかし、あなたは、彼らが会うことを心配する必要はありません。

次の段落では、流通プロセスのメモリ領域を説明します。

 

 

我々は、様々なメモリ領域の上記位置との違いを示すために、(「ユーザレベルのメモリ管理」からプロトタイプ)小さな例を使用する「言葉よりも雄弁です」。

コードをコピー
書式#include <stdio.hに> 

する#include <malloc.hを> 

する#include <unistd.h> 

int型bss_var。

int型data_var0 = 1; 

INTメイン(int型ARGC、チャー** ARGV)

{ 

    のprintf( "以下プロセスのMEMの\ nのタイプのアドレスです")。

    printf( "テキストの場所:\ N"); 

    printf( "メインの\ tAddress(コードセグメント):%Pを\ n"、メイン)。

    printf( "____________________________ \ N"); 

    int型stack_var0 = 2; 

    printf( "スタック所在地:\ N"); 

    printf( "\ tInitialスタックの終わり:%Pを\ n"、&stack_var0)。

    int型stack_var1 = 3; 

    printf( "\のtnewスタックの終わり:%Pを\ n"、&stack_var1)。

    printf( "____________________________ \ N");


    printf( "data_var(データセグメント)の\のtAddress:%Pを\ n"、&data_var0)。

    静的INT data_var1 = 4。

    printf( "\ tNewのdata_varの端(データセグメント):%Pを\ n"、&data_var1)。

    printf( "____________________________ \ N"); 

    printf( "BSS場所:\ N"); 

    printf( "\のbss_varのtAddress:%Pを\ n"、&bss_var)。

    printf( "____________________________ \ N"); 

    CHAR * B = sbrkの((ptrdiff_tの)0)。

    printf( "ヒープ場所:\ N"); 

    printf( "\ tInitial端ヒープの:%Pを\ n"、B)。

    BRK(B + 4)。

    B = sbrkの((ptrdiff_tの)0)。

    printf( "ヒープの\ tNew端:%Pを\ n"、B)。

    0を返します。

 }
コードをコピー

次のようにその結果は以下のとおりです。

コードをコピー
以下のプロセスのMEMの種類のアドレスである

テキスト場所:

   メインのアドレス(コード・セグメント):0x8048388 

____________________________ 

スタック場所:

   スタックの初期終わり:0xbffffab4 

   スタックの新しいエンド:0xbffffab0 

____________________________ 

データの場所:

   data_varのアドレス(データ・セグメント):0x8049758 

   新data_varの終わり(データ・セグメント):0x804975c 

____________________________ 

BSS場所:

   bss_varの住所:0x8049864 

____________________________ 

ヒープ場所:

   ヒープの初期終わり:0x8049868 

   ヒープの新終わり:0x804986c
コードをコピー

このようなサイズの一例として、また、プログラムの各セグメントのサイズを見ることができるサイズのコマンドを使用して実行されます

  テキストデータBSS 12月の六角ファイル名

  1654 280 8 1942 796例

しかしながら、これらのデータは、統計値をコンパイル静的が、プロセスが実行されている上に動的な値が示されているが、両者が対応されています。

 

前の例では、論理メモリ配布プロセスは、我々はプレビューを持っているために使用します。このセクションでは、メモリの割り当てと管理の正確にどのようにプロセスを確認するために、オペレーティングシステムのカーネルを入力していきます。

「リニア・アドレス」 - - いくつかの形で「物理アドレス」(複数のアドレスの説明は、すでに言われている)ユーザからカーネルに、メモリで使用される表現の形で順次「論理アドレス」を受けることになります。リニアアドレス期間に論理アドレスを介した機構と物理ページアドレス機構内に線形アドレスの後。(しかし、我々は、機構部を保持したまま、Linuxシステムを知る必要がありますが、プログラムのすべてのセグメントが論理的かつ線形アドレスが2つの異なるアドレス空間であるもののので、0-4Gのために死ぬために設定されますが、Linuxでの論理アドレスにされて対処します)同じ値である線形アドレス、に等しいです。これらの線に沿って、我々は研究の主な問題は、次の質問に焦点を当てます。

1.プロセスのアドレス空間の管理を行う方法は?

2.どのように物理メモリへのプロセスのアドレスマッピングしていますか?

3.どのように物理メモリの管理がありますか?

そして、サブ問題の数は、上述の問題に起因します。配信システムの仮想アドレス、メモリ割り当てインターフェイス、非連続のメモリ割り当てを有する連続したメモリ割り当て。

 

プロセスのメモリ空間

各プロセスは、プロセスのアドレス空間内に独自の非干渉を持つようにLinuxオペレーティングシステムは、仮想メモリ管理技術を使用しています。スペースは、ユーザーから見た線状ブロックサイズ4G仮想空間で、仮想アドレスにさらされている、あなたは、実際の物理メモリアドレスを参照することはできません。この仮想アドレスを持つだけでなく、実際のユーザプログラムは、より多くの物理メモリアドレス空間を使用することができるよりも、もっと重要なのは、オペレーティングシステムの保護効果を(ユーザーが直接物理メモリにアクセスすることはできません)を再生することができますが、(特定の理由のために、ハードウェアの基礎を参照してくださいセクション)。

プロセス空間の詳細を説明する前に、まず以下の質問が明確にする必要があります。

ユーザ空間とカーネル空間 - 第一工程のL、4Gは、人工的にアドレス空間は2つの部分に分割されます。0から3G(0xC0000000)へのユーザースペース、カーネル空間は4Gに3Gを占めていました。通常の状況下では、ユーザー・プロセスのみが、ユーザーの仮想アドレス空間にアクセスすることができます、あなたはカーネル仮想アドレス空間にアクセスすることはできません。唯一のユーザプロセスは、カーネル空間にアクセスすることができ、他の時間(カーネルモードの実行中にユーザプロセスの代わりに)システムコールを行います。

L個の第二に、プロセスに対応するユーザ空間ので、いつでも切り替え処理、ユーザ空間の変化に追従する、カーネル空間とカーネルをマッピングする責任があるが、固定され、変更処理に追従しません。カーネルアドレス空間は、それぞれが異なるページテーブルを持っているページテーブル(init_mm.pgd)独自の対応するユーザープロセスがあります。

L第三に、各プロセスのユーザ空間は、無関係完全に独立しています。それを信じてはいけない、あなたは上記のプログラムが10回実行します(もちろんを、同時に実行するためには、それが戻る前にそれらが100秒で一緒に寝ましょう)に置くことができ、あなたはアドレス10線形プロセスはまったく同じになります表示されます。

プロセスのメモリ管理

オブジェクトのメモリ管理プロセスはリニア・アドレス空間、仮想メモリのメモリイメージの過程で、これらの領域をメモリミラーリングは、実際のプロセス(メモリ領域)で使用されます。32のプロセスの仮想空間(特にスペースのサイズは、アーキテクチャに依存)64ビットまたは「フラット」(独立した連続)アドレス空間です。このような大型フラットスペースの一元管理は、管理の便宜のために、仮想空間は、可変サイズの数に分割される(しかし、4096の倍数でなければならない)、容易ではありませんこのような線形アドレスのようなプロセスにおけるパーキングエリアなどのメモリ領域、注文しました。これらの原則分割領域は、アクセスいわゆる、「一緒に保存されたアドレス空間の属性へのアクセス」で、何もここを意味していない属性「など、読み出し、書き込み可能、​​実行可能ファイルを..」

あなたは、プロセスのメモリ領域を参照したい場合は、取得したコマンドの猫の/ proc / <PID> /マップを使用することができます(pidはプロセスIDです、あなたは上記の例を実行することができ、我々は--./exampleを与える&; pidは意志画面に印刷された)は、次の図のような情報をたくさん見つけることができます。

プログラムは、動的ライブラリの例を使用するため、単独での例を使用するメモリ領域に加えて、さらに(:コードセグメント、データセグメント、セグメントBSS領域配列である)これらの動的ライブラリのメモリ領域を含みます。

我々は最初の2行を表すコードおよびデータセグメントに加えて、唯一の次の情報と関連した一例を抽出し、最後の行は、プロセスによって使用されるスタック領域です。

-------------------------------------------------- -----------------------------

08048000から08049000 R-XP 00000000 03:03 439029 /ホーム/ MM / SRC /例

08049000 - 0804a000 RW-P 00000000 3時03 439029 /ホーム/ MM / SRC /例

...............

bfffe000 - C0000000 rwxp ffff000夜12時00 0

-------------------------------------------------- -------------------------------------------------- ------------------

次の形式のデータの各行。

(メモリ領域)を開始 - エンドアクセスをメジャー番号相殺する:マイナー番号iノードファイルを。

あなたは、プロセス空間は、メモリの唯一の3つの領域が含まれているでしょうなどスタック、BSS、前述したように見えるしないことに注意してください、それはつまり、プログラム・メモリ・セグメントとプロセスのアドレス空間のメモリ領域は、一種のあいまいな対応で、そうではありません、スタック、BSS、データセグメント(初期化)処理空間内のデータセグメント記憶領域で表されます。

 

プロセスデータ構造に対応したLinuxカーネルのメモリ領域内にある:するvm_area_struct、別個のオブジェクト管理メモリ、対応する動作として、各カーネルメモリ領域も同様です。オブジェクト指向のアプローチは、VMA構造は、メモリ領域の様々なタイプ表すことができるでき - そのようなスタックメモリマップされたファイルやプロセスなどのユーザ空間などを、これらの領域の動作も異なります。

vm_area_strcut構造はそれについてのより複雑な、詳細な構造であり、関連情報をご参照ください。私たちはほんの少し補足ここでそれを行う方法を整理します。それは、プロセスは、多くの場合、これらの異なるメモリー領域にそれを関連付ける方法を、その仮想空間を記述するために、複数のメモリ領域を必要としているためにするvm_area_structは、基本的な管理単位のプロセスのアドレス空間の説明でありますか?我々は、すべてのは確かにするvm_area_struct構造が本当にリンクリストのリンクですが、時間のかかる検索を削減するためには、組織の記憶領域の形で(バランスの取れたツリーを使用して、以前のカーネル)、再び赤黒木を検索、カーネルを容易にするために、リンクリストを使用して考えることがあります。あなたはアドレス空間のメモリの特定の領域をターゲットに適用された場合、すべてのノードを使用し、赤黒木をトラバースする必要がある場合のためのリスト:組織の二つの形式ではなく、冗長性の共存。様々なカーネルメモリ領域を動作させるためには、高性能、これら2つのデータ構造の使用を達成することができます。

次の図は、プロセスのアドレス空間の管理モデルを反映しています:

プロセスのアドレス空間の構造の説明は、プロセスの総アドレス空間を表す「メモリ記述子構造」に相当 - メモリ領域コースのプロセスを含む、請求プロセスのアドレス空間に関連するすべての情報を含んでいます。

プロセスのメモリの割り当てと回復

プロセスフォーク()、プログラムロードはexecve()、マッピング・ファイルのmmap()、動的メモリ割り当てのmalloc()/ BRK()および他のプロセス関連の操作を作成するプロセスにメモリを割り当てる必要があります。しかし、その後、アプリケーションプロセスと実際のメモリは使用できませんが、仮想メモリと正確には、と言うことは、「メモリ。」最終的には、メモリ領域を割り当てる過程に()関数アップ(BRKコールは単独でシステムコールされるように、(do_mmapない))do_mmapに起因します、

カーネルはdo_mmap()関数は、新たな線形アドレス範囲を作成し使用しています。あなたはアドレス範囲と隣接する既存のアドレス範囲を作成し、それらが同じアクセス権を持っている場合、2つのセクションが1にマージされますので、しかし、機能は新しいVMAを作成すると言うことは、非常に正確ではありません。あなたがマージすることはできません場合は、あなたが本当に新しいVMAアップを作成する必要があります。しかし、どちらの場合も、do_mmap()関数は、プロセスのアドレス空間のアドレス範囲に追加されます - すでに存在するか、新しいエリアを作成するメモリ領域を拡張するかどうか。

同様に、メモリ領域の解放は、対応するメモリ領域を破壊する機能do_ummapを()、使用されます。

どのように仮想本物になります!

    从上面已经看到进程所能直接操作的地址都为虚拟地址。当进程需要内存时,从内核获得的仅仅是虚拟的内存区域,而不是实际的物理地址,进程并没有获得物理内存(物理页面——页的概念请大家参考硬件基础一章),获得的仅仅是对一个新的线性地址区间的使用权。实际的物理内存只有当进程真的去访问新获取的虚拟地址时,才会由“请求页机制”产生“缺页”异常,从而进入分配实际页面的例程。

该异常是虚拟内存机制赖以存在的基本保证——它会告诉内核去真正为进程分配物理页,并建立对应的页表,这之后虚拟地址才实实在在地映射到了系统的物理内存上。(当然,如果页被换出到磁盘,也会产生缺页异常,不过这时不用再建立页表了)

这种请求页机制把页面的分配推迟到不能再推迟为止,并不急于把所有的事情都一次做完(这种思想有点像设计模式中的代理模式(proxy))。之所以能这么做是利用了内存访问的“局部性原理”,请求页带来的好处是节约了空闲内存,提高了系统的吞吐率。要想更清楚地了解请求页机制,可以看看《深入理解linux内核》一书。

这里我们需要说明在内存区域结构上的nopage操作。当访问的进程虚拟内存并未真正分配页面时,该操作便被调用来分配实际的物理页,并为该页建立页表项。在最后的例子中我们会演示如何使用该方法。

 

系统物理内存管理 

虽然应用程序操作的对象是映射到物理内存之上的虚拟内存,但是处理器直接操作的却是物理内存。所以当应用程序访问一个虚拟地址时,首先必须将虚拟地址转化成物理地址,然后处理器才能解析地址访问请求。地址的转换工作需要通过查询页表才能完成,概括地讲,地址转换需要将虚拟地址分段,使每段虚地址都作为一个索引指向页表,而页表项则指向下一级别的页表或者指向最终的物理页面。

每个进程都有自己的页表。进程描述符的pgd域指向的就是进程的页全局目录。下面我们借用《linux设备驱动程序》中的一幅图大致看看进程地址空间到物理页之间的转换关系。

 

 

     上面的过程说起来简单,做起来难呀。因为在虚拟地址映射到页之前必须先分配物理页——也就是说必须先从内核中获取空闲页,并建立页表。下面我们介绍一下内核管理物理内存的机制。

 

物理内存管理(页管理)

Linux内核管理物理内存是通过分页机制实现的,它将整个内存划分成无数个4k(在i386体系结构中)大小的页,从而分配和回收内存的基本单位便是内存页了。利用分页管理有助于灵活分配内存地址,因为分配时不必要求必须有大块的连续内存[3],系统可以东一页、西一页的凑出所需要的内存供进程使用。虽然如此,但是实际上系统使用内存时还是倾向于分配连续的内存块,因为分配连续内存时,页表不需要更改,因此能降低TLB的刷新率(频繁刷新会在很大程度上降低访问速度)。

鉴于上述需求,内核分配物理页面时为了尽量减少不连续情况,采用了“伙伴”关系来管理空闲页面。伙伴关系分配算法大家应该不陌生——几乎所有操作系统方面的书都会提到,我们不去详细说它了,如果不明白可以参看有关资料。这里只需要大家明白Linux中空闲页面的组织和管理利用了伙伴关系,因此空闲页面分配时也需要遵循伙伴关系,最小单位只能是2的幂倍页面大小。内核中分配空闲页面的基本函数是get_free_page/get_free_pages,它们或是分配单页或是分配指定的页面(2、4、8…512页)。

 注意:get_free_page是在内核中分配内存,不同于malloc在用户空间中分配,malloc利用堆动态分配,实际上是调用brk()系统调用,该调用的作用是扩大或缩小进程堆空间(它会修改进程的brk域)。如果现有的内存区域不够容纳堆空间,则会以页面大小的倍数为单位,扩张或收缩对应的内存区域,但brk值并非以页面大小为倍数修改,而是按实际请求修改。因此Malloc在用户空间分配内存可以以字节为单位分配,但内核在内部仍然会是以页为单位分配的。

   另外,需要提及的是,物理页在系统中由页结构struct page描述,系统中所有的页面都存储在数组mem_map[]中,可以通过该数组找到系统中的每一页(空闲或非空闲)。而其中的空闲页面则可由上述提到的以伙伴关系组织的空闲页链表(free_area[MAX_ORDER])来索引。

 

テキストボックス:メンテナンス・パートナーシップ

内核内存使用

Slab

    所谓尺有所长,寸有所短。以页为最小单位分配内存对于内核管理系统中的物理内存来说的确比较方便,但内核自身最常使用的内存却往往是很小(远远小于一页)的内存块——比如存放文件描述符、进程描述符、虚拟内存区域描述符等行为所需的内存都不足一页。这些用来存放描述符的内存相比页面而言,就好比是面包屑与面包。一个整页中可以聚集多个这些小块内存;而且这些小块内存块也和面包屑一样频繁地生成/销毁。

  为了满足内核对这种小内存块的需要,Linux系统采用了一种被称为slab分配器的技术。Slab分配器的实现相当复杂,但原理不难,其核心思想就是“存储池[4]”的运用。内存片段(小块内存)被看作对象,当被使用完后,并不直接释放而是被缓存到“存储池”里,留做下次使用,这无疑避免了频繁创建与销毁对象所带来的额外负载。

Slab技术不但避免了内存内部分片(下文将解释)带来的不便(引入Slab分配器的主要目的是为了减少对伙伴系统分配算法的调用次数——频繁分配和回收必然会导致内存碎片——难以找到大块连续的可用内存),而且可以很好地利用硬件缓存提高访问速度。

    Slab并非是脱离伙伴关系而独立存在的一种内存分配方式,slab仍然是建立在页面基础之上,换句话说,Slab将页面(来自于伙伴关系管理的空闲页面链表)撕碎成众多小内存块以供分配,slab中的对象分配和销毁使用kmem_cache_alloc与kmem_cache_free。

 

Kmalloc

Slab分配器不仅仅只用来存放内核专用的结构体,它还被用来处理内核对小块内存的请求。当然鉴于Slab分配器的特点,一般来说内核程序中对小于一页的小块内存的请求才通过Slab分配器提供的接口Kmalloc来完成(虽然它可分配32 到131072字节的内存)。从内核内存分配的角度来讲,kmalloc可被看成是get_free_page(s)的一个有效补充,内存分配粒度更灵活了。

有兴趣的话,可以到/proc/slabinfo中找到内核执行现场使用的各种slab信息统计,其中你会看到系统中所有slab的使用信息。从信息中可以看到系统中除了专用结构体使用的slab外,还存在大量为Kmalloc而准备的Slab(其中有些为dma准备的)。

 

内核非连续内存分配(Vmalloc)

 

伙伴关系也好、slab技术也好,从内存管理理论角度而言目的基本是一致的,它们都是为了防止“分片”,不过分片又分为外部分片和内部分片之说,所谓内部分片是说系统为了满足一小段内存区(连续)的需要,不得不分配了一大区域连续内存给它,从而造成了空间浪费;外部分片是指系统虽有足够的内存,但却是分散的碎片,无法满足对大块“连续内存”的需求。无论何种分片都是系统有效利用内存的障碍。slab分配器使得一个页面内包含的众多小块内存可独立被分配使用,避免了内部分片,节约了空闲内存。伙伴关系把内存块按大小分组管理,一定程度上减轻了外部分片的危害,因为页框分配不在盲目,而是按照大小依次有序进行,不过伙伴关系只是减轻了外部分片,但并未彻底消除。你自己比划一下多次分配页面后,空闲内存的剩余情况吧。

所以避免外部分片的最终思路还是落到了如何利用不连续的内存块组合成“看起来很大的内存块”——这里的情况很类似于用户空间分配虚拟内存,内存逻辑上连续,其实映射到并不一定连续的物理内存上。Linux内核借用了这个技术,允许内核程序在内核地址空间中分配虚拟地址,同样也利用页表(内核页表)将虚拟地址映射到分散的内存页上。以此完美地解决了内核内存使用中的外部分片问题。内核提供vmalloc函数分配内核虚拟内存,该函数不同于kmalloc,它可以分配较Kmalloc大得多的内存空间(可远大于128K,但必须是页大小的倍数),但相比Kmalloc来说,Vmalloc需要对内核虚拟地址进行重映射,必须更新内核页表,因此分配效率上要低一些(用空间换时间)

与用户进程相似,内核也有一个名为init_mm的mm_strcut结构来描述内核地址空间,其中页表项pdg=swapper_pg_dir包含了系统内核空间(3G-4G)的映射关系。因此vmalloc分配内核虚拟地址必须更新内核页表,而kmalloc或get_free_page由于分配的连续内存,所以不需要更新内核页表。

 

テキストボックス:メンテナンス・パートナーシップテキストボックス:vmallocテキストボックス:kmallocの

 

vmalloc分配的内核虚拟内存与kmalloc/get_free_page分配的内核虚拟内存位于不同的区间,不会重叠。因为内核虚拟空间被分区管理,各司其职。进程空间地址分布从0到3G(其实是到PAGE_OFFSET,在0x86中它等于0xC0000000),从3G到vmalloc_start这段地址是物理内存映射区域(该区域中包含了内核镜像、物理页面表mem_map等等)比如我使用的系统内存是64M(可以用free看到),那么(3G——3G+64M)这片内存就应该映射到物理内存,而vmalloc_start位置应在3G+64M附近(说"附近"因为是在物理内存映射区与vmalloc_start期间还会存在一个8M大小的gap来防止跃界),vmalloc_end的位置接近4G(说"接近"是因为最后位置系统会保留一片128k大小的区域用于专用页面映射,还有可能会有高端内存映射区,这些都是细节,这里我们不做纠缠)。 

                

                            上图是内存分布的模糊轮廓

 

   由get_free_page或Kmalloc函数所分配的连续内存都陷于物理映射区域,所以它们返回的内核虚拟地址和实际物理地址仅仅是相差一个偏移量(PAGE_OFFSET),你可以很方便的将其转化为物理内存地址,同时内核也提供了virt_to_phys()函数将内核虚拟空间中的物理映射区地址转化为物理地址。要知道,物理内存映射区中的地址与内核页表是有序对应的,系统中的每个物理页面都可以找到它对应的内核虚拟地址(在物理内存映射区中的)。

而vmalloc分配的地址则限于vmalloc_start与vmalloc_end之间。每一块vmalloc分配的内核虚拟内存都对应一个vm_struct结构体(可别和vm_area_struct搞混,那可是进程虚拟内存区域的结构),不同的内核虚拟地址被4k大小的空闲区间隔,以防止越界——见下图)。与进程虚拟地址的特性一样,这些虚拟地址与物理内存没有简单的位移关系,必须通过内核页表才可转换为物理地址或物理页。它们有可能尚未被映射,在发生缺页时才真正分配物理页面。

 

                    

这里给出一个小程序帮助大家认清上面几种分配函数所对应的区域。

コードをコピー
#include<linux/module.h>

#include<linux/slab.h>

#include<linux/vmalloc.h>

unsigned char *pagemem;

unsigned char *kmallocmem;

unsigned char *vmallocmem;

int init_module(void)

{

 pagemem = get_free_page(0);

 printk("<1>pagemem=%s",pagemem);

 kmallocmem = kmalloc(100,0);

 printk("<1>kmallocmem=%s",kmallocmem);

 vmallocmem = vmalloc(1000000);

 printk("<1>vmallocmem=%s",vmallocmem);

}

void cleanup_module(void)

{

 free_page(pagemem);

 kfree(kmallocmem);

 vfree(vmallocmem);

}
コードをコピー

 

实例

内存映射(mmap)是Linux操作系统的一个很大特色,它可以将系统内存映射到一个文件(设备)上,以便可以通过访问文件内容来达到访问内存的目的。这样做的最大好处是提高了内存访问速度,并且可以利用文件系统的接口编程(设备在Linux中作为特殊文件处理)访问内存,降低了开发难度。许多设备驱动程序便是利用内存映射功能将用户空间的一段地址关联到设备内存上,无论何时,只要内存在分配的地址范围内进行读写,实际上就是对设备内存的访问。同时对设备文件的访问也等同于对内存区域的访问,也就是说,通过文件操作接口可以访问内存。Linux中的X服务器就是一个利用内存映射达到直接高速访问视频卡内存的例子。

熟悉文件操作的朋友一定会知道file_operations结构中有mmap方法,在用户执行mmap系统调用时,便会调用该方法来通过文件访问内存——不过在调用文件系统mmap方法前,内核还需要处理分配内存区域(vma_struct)、建立页表等工作。对于具体映射细节不作介绍了,需要强调的是,建立页表可以采用remap_page_range方法一次建立起所有映射区的页表,或利用vma_struct的nopage方法在缺页时现场一页一页的建立页表。第一种方法相比第二种方法简单方便、速度快, 但是灵活性不高。一次调用所有页表便定型了,不适用于那些需要现场建立页表的场合——比如映射区需要扩展或下面我们例子中的情况。

 

我们这里的实例希望利用内存映射,将系统内核中的一部分虚拟内存映射到用户空间,以供应用程序读取——你可利用它进行内核空间到用户空间的大规模信息传输。因此我们将试图写一个虚拟字符设备驱动程序,通过它将系统内核空间映射到用户空间——将内核虚拟内存映射到用户虚拟地址。从上一节已经看到Linux内核空间中包含两种虚拟地址:一种是物理和逻辑都连续的物理内存映射虚拟地址;另一种是逻辑连续但非物理连续的vmalloc分配的内存虚拟地址。我们的例子程序将演示把vmalloc分配的内核虚拟地址映射到用户地址空间的全过程。

程序里主要应解决两个问题:

第一是如何将vmalloc分配的内核虚拟内存正确地转化成物理地址?

因为内存映射先要获得被映射的物理地址,然后才能将其映射到要求的用户虚拟地址上。我们已经看到内核物理内存映射区域中的地址可以被内核函数virt_to_phys转换成实际的物理内存地址,但对于vmalloc分配的内核虚拟地址无法直接转化成物理地址,所以我们必须对这部分虚拟内存格外“照顾”——先将其转化成内核物理内存映射区域中的地址,然后在用virt_to_phys变为物理地址。

转化工作需要进行如下步骤:

a)         找到vmalloc虚拟内存对应的页表,并寻找到对应的页表项。

b)        获取页表项对应的页面指针

c)        通过页面得到对应的内核物理内存映射区域地址。

如下图所示:

第二是当访问vmalloc分配区时,如果发现虚拟内存尚未被映射到物理页,则需要处理“缺页异常”。因此需要我们实现内存区域中的nopaga操作,以能返回被映射的物理页面指针,在我们的实例中就是返回上面过程中的内核物理内存映射区域中的地址。由于vmalloc分配的虚拟地址与物理地址的对应关系并非分配时就可确定,必须在缺页现场建立页表,因此这里不能使用remap_page_range方法,只能用vma的nopage方法一页一页的建立。

 

程序组成

map_driver.c,它是以模块形式加载的虚拟字符驱动程序。该驱动负责将一定长的内核虚拟地址(vmalloc分配的)映射到设备文件上。其中主要的函数有——vaddress_to_kaddress()负责对vmalloc分配的地址进行页表解析,以找到对应的内核物理映射地址(kmalloc分配的地址);map_nopage()负责在进程访问一个当前并不存在的VMA页时,寻找该地址对应的物理页,并返回该页的指针。

test.c 它利用上述驱动模块对应的设备文件在用户空间读取读取内核内存。结果可以看到内核虚拟地址的内容(ok!),被显示在了屏幕上。

 

执行步骤

map_driver.oモジュール、特定のパラメータは、Makefileを見ているmap_driver.cをコンパイルします

ロードモジュール:insmodのmap_driver.o

対応するデバイスファイルの生成

1及び/ PROC /デバイスのデバイス番号map_driverに対応するデバイスコマンドを見つける:grepをmapdrv / PROC /デバイス

2(私のシステムデバイス番号254で)254℃のデバイスファイルはmknodのマップファイルを確立

    画面上の情報を印刷するには、カーネルから取られたファイルマップファイルの使用maptestをお読みください。

おすすめ

転載: www.cnblogs.com/sky-heaven/p/11526079.html
おすすめ