（E）、Linuxのメモリ管理zone_sizes_init

その他 2019-09-22 23:23:54 訪問数: null

背景

  • Read the fucking source code! --By魯迅
  • A picture is worth a thousand words. --Byゴーリキー

説明：

  1. カーネルのバージョン：4.14
  2. ARM64プロセッサ、コンテックス-A53、二核
  3. ツールを使用してください：Source Insightは3.5、Visioの

1.はじめに

スパースメモリモデル、Linuxのメモリモデル（4） 、我々は分析されbootmem_init、主の下半分の周りに、機能の上半分、我々はそれの下半分に来た今回zone_sizes_initの拡張機能。
展望レビュー：
bootmem_init()次のように機能コードは次のとおりです。

void __init bootmem_init(void)
{
    unsigned long min, max;

    min = PFN_UP(memblock_start_of_DRAM());
    max = PFN_DOWN(memblock_end_of_DRAM());

    early_memtest(min << PAGE_SHIFT, max << PAGE_SHIFT);

    max_pfn = max_low_pfn = max;

    arm64_numa_init();
    /*
     * Sparsemem tries to allocate bootmem in memory_present(), so must be
     * done after the fixed reservations.
     */
    arm64_memory_present();

    sparse_init();
    zone_sizes_init(min, max);

    memblock_dump_all();
}

Linuxでは、物理メモリアドレス領域の使用がzone管理します。最初に、あまり前戯するつもりはないzone_sizes_init、それグラフ関数呼び出し：

その使用があることを指摘する必要がありARM64，UMA（只有一个Node）、加えて、マクロ開かない分析を流れ、対応する機能は、詳細な分析ではありません。今日の探索を開始！

2.データ構造

図に示すように、キー構造。次のフレームワーク、それぞれがに対応するに、に独自のアーキテクチャでのみ、我々はしているような構造で使用されるグローバル変数。
NUMANodestruct pglist_dataUMAstruct pglist_dataARM64 UMAstruct pglist_data __refdata contig_page_data

struct pglist_data 关键字段

struct zone node_zones[];           //对应的ZONE区域，比如ZONE_DMA，ZONE_NORMAL等
struct zonelist_node_zonelists[];

unsigned long node_start_pfn;           //节点的起始内存页面帧号
unsigned long node_present_pages;    //总共可用的页面数
unsigned long node_spanned_pages;  //总共的页面数，包括有空洞的区域

wait_queue_head_t kswapd_wait;        //页面回收进程使用的等待队列
struct task_struct *kswapd;               //页面回收进程

struct zone 关键字段

unsigned long watermark[];          //水位值，WMARK_MIN/WMARK_LOV/WMARK_HIGH，页面分配器和kswapd页面回收中会用到
long lowmem_reserved[];             //zone中预留的内存
struct pglist_data *zone_pgdat;     //执行所属的pglist_data
struct per_cpu_pageset *pageset;  //Per-CPU上的页面，减少自旋锁的争用

unsigned long zone_start_pfn;       //ZONE的起始内存页面帧号
unsigned long managed_pages;    //被Buddy System管理的页面数量
unsigned long spanned_pages;     //ZONE中总共的页面数，包含空洞的区域
unsigned long present_pages;      //ZONE里实际管理的页面数量

struct frea_area free_area[];         //管理空闲页面的列表

マクロ記載点：struct pglist_data概要（シングルノードメモリUMAすべてのメモリ・アーキテクチャ）、その後、異なるメモリに分割zone領域は、zone空きページ、など、領域内の異なるページを記述するBuddy Systemページの管理など。

3.ゾーン

コードそれ：

enum zone_type {
#ifdef CONFIG_ZONE_DMA
    /*
     * ZONE_DMA is used when there are devices that are not able
     * to do DMA to all of addressable memory (ZONE_NORMAL). Then we
     * carve out the portion of memory that is needed for these devices.
     * The range is arch specific.
     *
     * Some examples
     *
     * Architecture     Limit
     * ---------------------------
     * parisc, ia64, sparc  <4G
     * s390         <2G
     * arm          Various
     * alpha        Unlimited or 0-16MB.
     *
     * i386, x86_64 and multiple other arches
     *          <16M.
     */
    ZONE_DMA,
#endif
#ifdef CONFIG_ZONE_DMA32
    /*
     * x86_64 needs two ZONE_DMAs because it supports devices that are
     * only able to do DMA to the lower 16M but also 32 bit devices that
     * can only do DMA areas below 4G.
     */
    ZONE_DMA32,
#endif
    /*
     * Normal addressable memory is in ZONE_NORMAL. DMA operations can be
     * performed on pages in ZONE_NORMAL if the DMA devices support
     * transfers to all addressable memory.
     */
    ZONE_NORMAL,
#ifdef CONFIG_HIGHMEM
    /*
     * A memory area that is only addressable by the kernel through
     * mapping portions into its own address space. This is for example
     * used by i386 to allow the kernel to address the memory beyond
     * 900MB. The kernel will set up special mappings (page
     * table entries on i386) for each page that the kernel needs to
     * access.
     */
    ZONE_HIGHMEM,
#endif
    ZONE_MOVABLE,
#ifdef CONFIG_ZONE_DEVICE
    ZONE_DEVICE,
#endif
    __MAX_NR_ZONES

};

さまざまなアーキテクチャに対処するための一般的なメモリ管理、X86、ARM、MIPSは...、複雑さを軽減するために、唯一のあなたのアーキテクチャは、関連する選択する必要があります。現在、私は、プラットフォーム、構成のみを使用ZONE_DMAしてZONE_NORMAL。次のように図のログ出力は次のようになります。

なかった理由ZONE_NORMAL領域、パスコードを追跡することが見出されている、ZONE_DMA4G開始メモリ領域及び境界領域の先頭からロケールのサイズが4Gを超えることはできないが、私はすべてのこの領域で、512Mのようなメモリを使用します。

上記構成から見ることができ、ZONE_DMAマクロの定義は、ZONE_NORMALアーキテクチャは、すべての領域を有している、そしてなぜの必要ZONE_DMA写真に地域：

デバイスのアドレス範囲はメモリの領域にある場合したがって、その後ZONE_NORMALで十分です。

4. calculate_node_totalpages

このことから、知っている名前を簡単に確認することができ数えることであるNodeすべてを説明するページ数、絵を：

  • 記事の分析の前に、によって物理メモリmemblockメンテナンス、全メモリ領域の図であり、ホール領域、が存在し得るhole部分。
  • 種類ごとにZONEエリア、それぞれ、統計を越えて行くだろうpage frame、と空があるかもしれない、と実際に使用可能なページを計算しますpresent_pages。
  • Nodeすべての管理ZONEのspanned_pagesとpresent_pagesそれぞれの統計ZONE対応するページの合計。

計算プロセスの終わりには、基本的な情報は、ページフレームの管理に入れます。

5. free_area_init_core

簡単に言えば、free_area_init_core機能は主に完了するstruct pglist_dataフィールド初期化された構造をして、それぞれを管理して初期化しzone、コードでそれを見て：

/*
 * Set up the zone data structures:
 *   - mark all pages reserved
 *   - mark all memory queues empty
 *   - clear the memory bitmaps
 *
 * NOTE: pgdat should get zeroed by caller.
 */
static void __paginginit free_area_init_core(struct pglist_data *pgdat)
{
    enum zone_type j;
    int nid = pgdat->node_id;

    pgdat_resize_init(pgdat);
#ifdef CONFIG_NUMA_BALANCING
    spin_lock_init(&pgdat->numabalancing_migrate_lock);
    pgdat->numabalancing_migrate_nr_pages = 0;
    pgdat->numabalancing_migrate_next_window = jiffies;
#endif
#ifdef CONFIG_TRANSPARENT_HUGEPAGE
    spin_lock_init(&pgdat->split_queue_lock);
    INIT_LIST_HEAD(&pgdat->split_queue);
    pgdat->split_queue_len = 0;
#endif
    init_waitqueue_head(&pgdat->kswapd_wait);
    init_waitqueue_head(&pgdat->pfmemalloc_wait);
#ifdef CONFIG_COMPACTION
    init_waitqueue_head(&pgdat->kcompactd_wait);
#endif
    pgdat_page_ext_init(pgdat);
    spin_lock_init(&pgdat->lru_lock);
    lruvec_init(node_lruvec(pgdat));

    pgdat->per_cpu_nodestats = &boot_nodestats;

    for (j = 0; j < MAX_NR_ZONES; j++) {
        struct zone *zone = pgdat->node_zones + j;
        unsigned long size, realsize, freesize, memmap_pages;
        unsigned long zone_start_pfn = zone->zone_start_pfn;

        size = zone->spanned_pages;
        realsize = freesize = zone->present_pages;

        /*
         * Adjust freesize so that it accounts for how much memory
         * is used by this zone for memmap. This affects the watermark
         * and per-cpu initialisations
         */
        memmap_pages = calc_memmap_size(size, realsize);
        if (!is_highmem_idx(j)) {
            if (freesize >= memmap_pages) {
                freesize -= memmap_pages;
                if (memmap_pages)
                    printk(KERN_DEBUG
                           "  %s zone: %lu pages used for memmap\n",
                           zone_names[j], memmap_pages);
            } else
                pr_warn("  %s zone: %lu pages exceeds freesize %lu\n",
                    zone_names[j], memmap_pages, freesize);
        }

        /* Account for reserved pages */
        if (j == 0 && freesize > dma_reserve) {
            freesize -= dma_reserve;
            printk(KERN_DEBUG "  %s zone: %lu pages reserved\n",
                    zone_names[0], dma_reserve);
        }

        if (!is_highmem_idx(j))
            nr_kernel_pages += freesize;
        /* Charge for highmem memmap if there are enough kernel pages */
        else if (nr_kernel_pages > memmap_pages * 2)
            nr_kernel_pages -= memmap_pages;
        nr_all_pages += freesize;

        /*
         * Set an approximate value for lowmem here, it will be adjusted
         * when the bootmem allocator frees pages into the buddy system.
         * And all highmem pages will be managed by the buddy system.
         */
        zone->managed_pages = is_highmem_idx(j) ? realsize : freesize;
#ifdef CONFIG_NUMA
        zone->node = nid;
#endif
        zone->name = zone_names[j];
        zone->zone_pgdat = pgdat;
        spin_lock_init(&zone->lock);
        zone_seqlock_init(zone);
        zone_pcp_init(zone);

        if (!size)
            continue;

        set_pageblock_order();
        setup_usemap(pgdat, zone, zone_start_pfn, size);
        init_currently_empty_zone(zone, zone_start_pfn, size);
        memmap_init(size, nid, j, zone_start_pfn);
    }
}
  • 初期struct pglist_dataのロック・キューおよび内部使用。

各横断zone地域、以下の初期に：

  • よると、コール管理するために計算された必要なページ数が構造を占領。zonespanned_pagespresent_pagescalc_memmap_sizezonestruct pagememmap_pages

  • zonefreesize利用可能なエリアの表現、減算memmap_pages及びDMA_RESERVE領域は、ログに示されている印刷版の開発に示すように：memmap使用2048ページを、DMA0予約。

  • 計算nr_kernel_pages及びnr_all_pages地図にこれら2つのパラメータとページとの間の関係を（Iプラットフォームを一つだけ使用するので、説明するために数、ZONE_DMA面積、及びARM64無ZONE_HIGHMEM領域を、典型的に持っているので、順番にないARM32など）。

  • 初期化zone使用されるロックのすべてのタイプを。

  • 割り当てと初期化usemap、初期設定Buddy Systemで使用するためのfree_area[]、lruvec、pcpなどが挙げられます。

  • memmap_init()->memmap_init_zone()この機能は、主に基づいているPFNを通して、pfn_to_page対応を見つけることstruct pageと、と設定構造初期化MIGRATE_MOVABLEを示すフラグを可動こと。

最後に、リコールbootmem_init機能を、実質的に完全なLinux物理メモリ初期化フレームが、含むことが判明したNode、Zone、Page Frameおよび対応するデータ構造。

記事と合わせてスパースメモリー（4）モデルのLinuxのメモリモデル読み込み、効果はああ良くなります！

継続中...

おすすめ

転載: www.cnblogs.com/LoyenWang/p/11568481.html
おすすめ
ランキング
Web側のオンラインクラウド編集ソリューション
2つのシナリオでのJVMチューニングケース（基本テンプレートの概要-G1）-ピット概要ハイライト21を踏む（週に1回更新）
Node Sass は現在の環境のバインディングを見つけることができませんでした
RabbitMQのコマンドラインの使用方法は、手動でキューrabbitmqadminを作成します
币圈韭菜十大致命操作（八）热爱幻想，无视现实
Wide Face+YOLOV7 顔検出
shrioの研究ノート
Eclipseは「：不明なMavenの設定の問題」を示します
6512. [3.18] GDOI2020シミュレーションツリーとパス
不像总结的总结
アーカイブ
もっと
2024-05-07(34)
2024-05-06(6)
2024-05-05(0)
2024-05-04(18)
2024-05-03(8)
2024-05-02(0)
2024-05-01(4)
2024-04-30(35)
2024-04-29(5)
2024-04-28(12)

コードワールド

© 2018 codetd.com