DP Reading: Kunpeng Processor Architecture and Programming (8) 3.1 Kunpeng Processor System-on-Chip and Taishan Processor Core Architecture

The processor architecture is a low-level content, but this is the bottom layer of any computer system.
The performance, ecology and functions of the system largely depend on the bottom layer of the computer system - the processor architecture. Any system programmer, firmware designer, application programmer, or even server administrator must understand the processor architecture if they want to take full advantage of the hardware performance of modern high-performance processors and perform efficient software operations.

1. Kunpeng processor system-on-chip and Taishan processor core architecture

1. Overview of Kunpeng Processor System-on-Chip

a. Kunpeng processor system-on-chip and Kunpeng chip family

The Kunpeng processor system-on-chip (Kunpeng 920) is an enterprise-level processor product developed by Huawei based on the ARM architecture. It is mainly used in five application areas including "computing, storage, transmission, management, and artificial intelligence". The Kunpeng chip family is the general term for the chip family developed by Huawei HiSilicon, including Kunpeng series processor chips, Ascend artificial intelligence chips, solid-state hard drive control chips, intelligent fusion network chips, and intelligent management chips . Each member of this family has its own characteristics and functions, and together provide support for computing, storage, transmission, management and artificial intelligence applications.

To sum up, the Kunpeng processor system-on-a-chip is an important member of the Kunpeng chip family, and the Kunpeng chip family is the general term for chip products independently developed by Huawei in multiple fields.

b. Components of the Kunpeng 920 processor system-on-a-chip

c. Features of Kunpeng 920 Processor SoC

The Kunpeng 920 processor system-on-a-chip has the following features:

1. Based on the ARMv8.2 architecture design, it supports 64-bit multi-core server processors.
2. Using Scalable Vector Extension (SVE) technology, it can provide powerful performance and parallel computing capability at low power consumption.
3. It supports multiple interconnection protocols, including CCIX and PCIe, and is suitable for different types of server systems.
4. Integrated with 16 A76 processor cores, the main frequency can reach up to 2.6GHz, and each core can support multi-threading.
5. The innovative L3 cache technology is adopted to effectively increase the data transmission rate.
6. Support up to 8-channel memory controller, each channel can support DDRx memory.

d. The logical structure of the Kunpeng 920 processor SoC

The logical structure of the Kunpeng 920 processor SoC mainly includes the following parts:

1. CPU: The Kunpeng 920 processor system-on-a-chip is composed of two CPU DIEs (independent units on the silicon chip that independently perform specific tasks), each CPU DIE contains 4 Clusters (computing clusters), and each Cluster contains 2 Cores (cores) . Therefore, the entire processor contains 8 Cores.
2. Cache: Each Core is equipped with L1 and L2 level Cache, L1 Cache is divided into instruction Cache and data Cache, L2 Cache is shared. In addition, all Cores share the L3 level Cache.
3. DDR controller: The Kunpeng 920 processor SoC is equipped with 8 DDR4 channels for memory storage and data access.
4. I/O subsystem: The I/O subsystem of Kunpeng 920 is expanded through IO DIE, supports multiple interconnection protocols, including CCIX and PCIe, and is suitable for different types of server systems. At the same time, the Kunpeng processor also supports PCle 4.0-based device expansion, which can support boards such as network cards and GPUs.
5. Interrupt subsystem: Kunpeng 920's interrupt subsystem supports line interrupt and message interrupt on the basis of being compatible with the ARM GIC specification.

2. Taishan V110 processor core microarchitecture

a. Characteristics of the Taishan V110 processor core

Taishan V110 是一种基于 ARM 架构的处理器内核微架构。它是由华为公司开发的，主要用于其服务器产品。

具体来说，Taishan V110 处理器内核是基于 ARM v8.2 架构的，支持 64 位多核服务器处理器。它采用了可扩展向量扩展（SVE）技术，可以在低功耗的情况下提供强大的性能和并行计算能力。

Taishan V110 处理器内核微架构包括多个核心，每个核心可以支持多线程。它还采用了创新的 L3 缓存技术，以有效提升数据传输速率。此外，该处理器内核还支持高达 8 通道内存控制器，每个通道可以支持 DDRx 内存。

The Taishan V110 processor core microarchitecture is a high-performance, low-power ARM server processor core for a variety of computing and data processing applications.

b. Functional structure of Taishan V110 processor core

The functional structure of Taishan V110 processor core includes the following parts:

1. Instruction Fetch unit : responsible for fetching instructions from L1 I Cache and sending instructions to the instruction decoding unit, sending up to 4 instructions per cycle. Both dynamic branch prediction and static branch prediction are supported. Integrated 64KB 4-way set associative L1 I Cache, Cache line size is 64B, its data RAM and tag RAM contain 1 parity check protection bit every 8 binary bits.

> 取指（Instruction Fetch）部件是计算机处理器中的一个关键部分，负责从一级指令缓存（L1 I Cache）中取出指令，并将这些指令发送到指令译码部件。每个周期，该部件最多可以发送4条指令。

2. Instruction Decode (Instruction Decode) component : responsible for receiving instructions from the instruction fetching component, and decoding the instructions, and sending up to 4 decoded instructions per cycle.

3. Instruction Dispatch component : responsible for sending the decoded instructions to each execution unit, sending up to 4 instructions per cycle.

4. Integer Execute : It is responsible for executing integer operation instructions, including arithmetic operations and logical operations.

5. Load/Store Unit (Load/Store Unit) : Responsible for the transfer of data between registers and memory, including the execution of load and store instructions.

6. 第二级存储系统（L2 Memory System）：负责管理 L2 Cache，包括数据的读取和写入。

7. 增强的 SIMD 与浮点运算单元（Advanced SIMD and Floating Point Unit）：负责执行 SIMD 和浮点运算指令。

8. 通用中断控制器 CPU 接口（GIC CPU Interface）：负责与通用中断控制器进行通信，处理来自外部设备的中断请求。

9. 通用定时器（Generic Timer）：负责计时和定时操作。

10. PMU 及调试与跟踪部件（Debug and Trace）：负责性能监控、调试和跟踪操作。

以上是 Taishan V110 处理器内核的主要功能结构。处理器内核的各个部件相互协作，共同完成处理器的运算和控制任务。

3. 鲲鹏920处理器片上系统的逻辑结构

a. 处理器内核集群

鲲鹏920处理器片上系统的逻辑结构中，处理器内核集群是指多个处理器内核的集合，这些内核通过共享缓存和互连通道相互通信和协作。

在鲲鹏920处理器片上系统中，内核集群是处理器内核之间的逻辑组合方式，每个集群由4个核心组成，每个核心都支持多线程。这种内核集群的设计有助于提高处理器的并行处理能力和整体性能。

通过内核集群的设计，处理器可以更好地平衡负载和处理任务，同时保持高效率和低功耗。这种逻辑结构也有助于提高处理器的响应速度和吞吐量，从而满足不同应用场景的需求。

鲲鹏920处理器片上系统的内核集群是处理器内核之间的逻辑组合方式，它有助于提高处理器的并行处理能力和整体性能，适用于各种高性能计算和数据处理应用。

b. I/O集群

在鲲鹏920处理器片上系统中，I/O集群是负责处理和管理I/O（输入/输出） 请求的逻辑组件。I/O集群通过与I/O子系统进行通信，实现对输入/输出设备的控制和管理。

I/O集群通常包括以下功能：

1. 设备驱动程序：I/O集群中包含多个设备驱动程序，用于与不同类型的I/O设备进行通信。这些驱动程序负责与设备的硬件接口进行交互，实现数据的传输和控制。
2. 中断处理：I/O集群负责处理来自I/O设备的中断请求。当设备完成一项任务或发生特定事件时，会向处理器发送中断请求。I/O集群接收这些请求并通知操作系统进行处理。
3. 数据传输管理：I/O集群负责数据的传输和管理。它可以将数据从I/O设备读取到处理器，或将数据从处理器发送到I/O设备。I/O集群还支持数据缓冲和数据校验等功能，以确保数据的准确性和完整性。
4. 虚拟化支持：I/O集群还支持虚拟化技术，可以同时与多个虚拟机进行通信。通过虚拟化技术，多个虚拟机可以共享有限的物理资源，并实现高效的I/O操作。

通过I/O集群的设计，处理器可以更好地管理和控制I/O设备的操作，从而提高系统的整体性能和可靠性。同时，I/O集群还可以简化设备驱动程序的开发和管理工作，降低系统维护的复杂度。

c. 超级内核集群

超级内核集群（Super Kernel Cluster） 是鲲鹏920处理器片上系统的一个核心组件，它包含了多个内核集群和I/O集群，用于实现高性能计算和数据处理。

每个超级内核集群包含6个内核集群、2个I/O集群和4个DDR控制器。每个内核集群包含4个核心，每个核心支持多线程。这样的设计有助于提高处理器的并行处理能力和整体性能。

超级内核集群的每个内核集群都集成了L3 Cache，分为L3 Cache TAG和L3 Cache DATA两部分。L3 Cache TAG集成在每个内核集群中，用于降低监听延迟，L3 Cache DATA则直接连接片上总线。这样的设计可以提高数据传输的效率和准确性。

此外，超级内核集群还配置了一个通用中断控制器分发器（GICD） 模块，兼容ARM的GICv4规范，用于处理多芯片系统Cache一致性协议。

通过超级内核集群的设计，鲲鹏920处理器片上系统可以更好地平衡负载和处理任务，同时保持高效率和低功耗，适用于各种高性能计算和数据处理应用。

d. 超级I/O集群

超级I/O集群（Super I/O Cluster） 是鲲鹏920处理器片上系统的一个组件，它负责处理和管理I/O（输入/输出）请求，并与外部设备进行通信。

超级I/O集群通过与I/O子系统进行通信，实现对输入/输出设备的控制和管理。它包含多个I/O集群，每个I/O集群包含多个设备驱动程序，用于与不同类型的I/O设备进行通信。

超级I/O集群还负责处理来自I/O设备的中断请求。当设备完成一项任务或发生特定事件时，会向处理器发送中断请求。超级I/O集群接收这些请求并通知操作系统进行处理。

此外，超级I/O集群还支持虚拟化技术，可以同时与多个虚拟机进行通信。通过虚拟化技术，多个虚拟机可以共享有限的物理资源，并实现高效的I/O操作。

通过超级I/O集群的设计，处理器可以更好地管理和控制I/O设备的操作，从而提高系统的整体性能和可靠性。同时，超级I/O集群还可以简化设备驱动程序的开发和管理工作，降低系统维护的复杂度。

e. 鲲鹏920系统的部件互联

鲲鹏920系统的部件主要通过AMBA（Advanced Microcontroller Bus Architecture）总线进行互联。具体来说，主要的部件包括两个CPU DIE、一个IO DIE，以及共8组DDR4 channel。这些部件之间的互联关系如下：

1. 两个CPU DIE之间通过系统总线进行互联。
2. CPU DIE和IO DIE之间通过IO总线进行互联。
3. 8组DDR4 channel之间通过内存总线进行互联。

这样的互联方式可以满足处理器在高性能计算和数据处理方面的需求。同时，为了方便软件编程，鲲鹏处理器内部的高速设备也基于PCle，且可以通过PCle的配置空间进行配置。

4. 鲲鹏920处理器片上系统的内存存储系统

a. 鲲鹏920处理器存储系统的层次结构

鲲鹏920处理器存储系统的层次结构可以分为四层，从下到上分别是：

1. DDR内存子系统：该层是最低层，提供64位内存接口，支持8通道DDR4内存，容量可以根据实际需求进行扩展。
2. L3缓存子系统：该层为每个CPU核心提供独立的L3缓存，容量为64KB，访问延时为3个时钟周期。
3. L2缓存子系统：该层由两个L2缓存模块组成，每个模块的容量为32KB，访问延时为15个时钟周期。
4. L1缓存子系统：该层包括指令、数据和分支指令，每个CPU核心都拥有独立的L1指令和数据缓存，容量为64KB，访问延时为1个时钟周期。

通过这种层次化的设计，可以显著减少内存访问延时，提高处理器的性能。同时，这种层次结构也使得处理器的存储系统更加灵活，可以根据不同的应用需求进行定制和扩展。

b. 鲲鹏920处理器的片上系统的L3 Cache

鲲鹏920处理器的片上系统的L3 Cache是处理器内核的共享缓存，它为每个CPU核心提供共享访问。L3 Cache的容量非常大，可以达到64KB，这意味着处理器内核可以在一个时钟周期内从L3 Cache中获取数据，这对于高性能计算和数据处理应用非常重要。

同时，L3 Cache还被分成了两个独立的子系统：L3 Tag和L3 Data。L3 Tag负责存储虚拟地址到物理地址的映射关系，而L3 Data则负责存储数据。这种设计可以有效地提高数据访问的速度和准确性。

鲲鹏920处理器的片上系统的L3Cache是处理器内核的重要组件之一，它具有大容量、高性能的特点，可以满足各种高性能计算和数据处理应用的需求。

c. 鲲鹏920处理器的片上系统的主存系统

鲲鹏920处理器的片上系统的主存系统包括DDR4内存条和L3缓存。

首先，DDR4内存条是鲲鹏920处理器片上系统的基本存储器，它直接与处理器内核相连，并被设计成可以在一个时钟周期内访问一次。DDR4内存条的容量可以根据实际需求进行选择，最大容量没有明确限制。

其次，L3缓存是鲲鹏920处理器片上系统的核心存储器，它是处理器内核的共享缓存，被设计成可以在一个时钟周期内访问一次。L3缓存的容量非常大，可以达到64MB，可以满足高性能计算和数据处理应用的需求。

同时，鲲鹏920处理器的片上系统还采用了14纳米工艺，拥有64个CPU核心，支持SMT超线程技术，最高主频可达2.6GHz。另外，鲲鹏920还配备了32MB的二级缓存和48个PCIe 4.0通道，可支持高速数据传输和流畅的数据处理。

总之，鲲鹏920处理器的片上系统的主存系统具有大容量、高性能的特点，可以满足各种高性能计算和数据处理应用的需求。

d. 鲲鹏920处理器的片上系统的DDR控制器

鲲鹏920处理器的片上系统的DDR控制器是处理器与DDR4内存条之间的接口。这个控制器可以支持8个DDR4通道，每个通道的最大速率是2.6GHz，最大容量是1TB。这种设计可以满足高性能计算和数据处理应用的需求，同时也为系统提供了更大的内存空间。

通过DDR控制器，处理器内核可以与DDR4内存条进行高速数据交换，实现快速的数据读写操作。这种设计可以显著提高系统的整体性能和数据处理能力。

总之，鲲鹏920处理器的片上系统的DDR控制器是处理器与内存之间的关键接口，它支持大容量、高性能的DDR4内存条，可以满足各种高性能计算和数据处理应用的需求。

e. 鲲鹏920处理器片上系统的NUMA架构

鲲鹏920处理器片上系统的NUMA（Non-Uniform Memory Access） 架构是一种内存管理架构，它具有非统一内存访问的特点。在NUMA架构中，内存被分为多个区域，每个区域称为一个节点，每个节点都有其自己的内存控制器和处理器。

在鲲鹏920处理器片上系统中，NUMA架构被分为四个层次：处理器层、本地节点层、home节点层和远程节点层。

1. 处理器层：这是最底层，包含单个物理核，称为处理器层。
2. 本地节点层：对于某个节点中的所有处理器，此节点称为本地节点。
3. home节点层：与本地节点相邻的节点称为home节点。
4. 远程节点层：非本地节点或邻居节点的节点，称为远程节点。

在NUMA架构中，访问本地节点的内存比访问远程节点的内存更快，因此，在执行内存访问操作时，系统会自动将数据分配到最近的节点。这种内存管理方式可以提高内存访问速度和系统的整体性能。

鲲鹏920处理器片上系统的NUMA架构是一种非统一内存访问的架构，它可以提高内存访问速度和系统的整体性能，适用于各种高性能计算和数据处理应用。

f. 鲲鹏920处理器的片上系统的地址映射与变换

鲲鹏920处理器的片上系统的地址映射与变换主要涉及虚拟地址到物理地址的转换。这个过程是通过页表机制实现的。

具体来说，地址映射过程包括以下几个步骤：

1. Address translation : First, the CPU core will calculate the corresponding physical address based on the virtual address. This process involves the page table mechanism, where the page table is a data structure used to store the mapping relationship between virtual addresses and physical addresses.
2. Access memory : Then, the CPU core sends the calculated physical address to the memory controller to access the corresponding memory unit through the memory controller.
3. Data transmission : The memory controller reads or writes data according to the physical address to realize data transmission between the CPU core and the memory.

In this process, the page table mechanism is the core of address mapping. The page table mechanism establishes a mapping relationship between virtual addresses and physical addresses, so that the CPU core can access memory through virtual addresses. At the same time, since the mapping relationship is dynamic, the system can dynamically adjust the memory mapping relationship according to actual needs to meet different application requirements.

The address mapping and conversion of the system-on-chip of the Kunpeng 920 processor is realized through the page table mechanism. This process realizes the conversion from virtual addresses to physical addresses, so that the CPU core can access memory through virtual addresses. This mechanism improves the flexibility and efficiency of memory access and is suitable for various high-performance computing and data processing applications.

Reference: "Kunpeng Processor Architecture and Programming" (Dai Zhitao and Liu Jianpei)
" Detailed Explanation of Kunpeng Processor Organization and Chip Architecture " (Huawei Cloud Community-Jack20)
"Taishan Processor Kernel Architecture"
Kunpeng Community: Perfect Kupeng Developer Community & Forum
Sea Si official website: official link address