Rockchip Android13 GKI开发指南
文章目录
GKI介绍
Android13 GMS和EDLA认证的一个难点是google强制要求要支持GKI。GKI通用内核映像，是google为了解决内核碎片化的问题，而设计的通过提供统一核心内核并将SoC和板级驱动从核心内核移至可加载模块中。核心内核为驱动模块提供了稳定的内核模块接口，模块驱动和核心内核可以独立进行更新。内核接口可以通过upstream的方式进行扩展。 Soc和板级厂商在驱动开发时需要使用已经定义的内核接口，如果要新加核心内核接口需要提交给google，这个周期会比较长，所以要提前做好开发准备。
Google upstream kernel下载及编译
Google的boot.img是定期发布，时间间隔比较长。 我们可以下载google的upstream的kernel源码自己编译boot.img进行验证和debug。
Google Upstream kernel下载链接：
repo init -u https://android.googlesource.com/kernel/manifest -b common-android13-5.10
需要翻墙下载
编译
tools/bazel run --config=fast //common:kernel_aarch64_dist -- --dist_dir=./out
生成boot.img
out/boot.img
Rockchip SDK中GKI相关目录介绍
- kernel KO文件路径
mkcombinedroot/vendor_ramdisk/lib/modules/
- Google boot.img路径
mkcombinedroot/prebuilts/boot-5.10.img
- KO文件加载顺序配置文件
mkcombinedroot/res/vendor_ramdisk_modules.load
- GPU mali库的路径
GPU的mali库是单独编译在vendor.img中，源文件路径在
RK3588：
vendor/rockchip/common/gpu/MaliG610/lib/modules/bifrost_kbase.ko
RK356X：
vendor/rockchip/common/gpu/MaliG52/lib/modules/bifrost_kbase.ko
RK3326：
vendor/rockchip/common/gpu/MaliTDVx/lib/modules/mali_kbase.ko
Rockchip GKI编译
代码修改
GKI需要打开AB系统才能使用，具体代码修改如下：
- uboot需要打开AB配置
~/a2_Android13_sdk/u-boot$ git diff
diff --git a/configs/rk3568_defconfig b/configs/rk3568_defconfig
index fbd9820acc..e23e438792 100644
--- a/configs/rk3588_defconfig
+++ b/configs/rk3588_defconfig
@@ -207,6 +207,7 @@ CONFIG_RSA_N_SIZE=0x200
CONFIG_RSA_E_SIZE=0x10
CONFIG_RSA_C_SIZE=0x20
CONFIG_SHA512=y
CONFIG_LZ4=y
CONFIG_LZMA=y
CONFIG_SPL_GZIP=y
@@ -220,3 +221,4 @@ CONFIG_RK_AVB_LIBAVB_USER=y
CONFIG_OPTEE_CLIENT=y
CONFIG_OPTEE_V2=y
CONFIG_OPTEE_ALWAYS_USE_SECURITY_PARTITION=y
+CONFIG_ANDROID_AB=y
- Android的device产品目录下配置GKI选项
~/a2_Android13_sdk/device/rockchip/rk3588$ git diff
diff --git a/rk3588_t/BoardConfig.mk b/rk3588_t/BoardConfig.mk
old mode 100644
new mode 100755
index 50da541..06da5f3
--- a/rk3588_t/BoardConfig.mk
+++ b/rk3588_t/BoardConfig.mk
@@ -15,10 +15,21 @@
#
include device/rockchip/rk3588/BoardConfig.mk
BUILD_WITH_GO_OPT := false
+BOARD_BUILD_GKI := true
-# AB image definition
-BOARD_USES_AB_IMAGE := false
-BOARD_ROCKCHIP_VIRTUAL_AB_ENABLE := false
+ifeq ($(strip $(BOARD_BUILD_GKI)), true)
+ #for gki
+ # AB image definition
+ BOARD_USES_AB_IMAGE := true
+ BOARD_ROCKCHIP_VIRTUAL_AB_ENABLE := true
+ #PRODUCT_KERNEL_CONFIG := rockchip_defconfig android-13.config
+ PRODUCT_KERNEL_CONFIG := gki_defconfig rockchip_gki.config
+ BOARD_BOOT_HEADER_VERSION := 4
+else
+ BOARD_ROCKCHIP_VIRTUAL_AB_ENABLE := false
+ BOARD_USES_AB_IMAGE := false
+ PRODUCT_KERNEL_CONFIG := rockchip_defconfig android-13.config
+endif
BOARD_GRAVITY_SENSOR_SUPPORT := true
BOARD_COMPASS_SENSOR_SUPPORT := true
@@ -26,14 +37,21 @@ BOARD_SENSOR_COMPASS_AK8963-64 := true
BOARD_GYROSCOPE_SENSOR_SUPPORT := true
BOARD_PROXIMITY_SENSOR_SUPPORT := true
BOARD_LIGHT_SENSOR_SUPPORT := true
ifeq ($(strip $(BOARD_USES_AB_IMAGE)), true)
include device/rockchip/common/BoardConfig_AB.mk
TARGET_RECOVERY_FSTAB := device/rockchip/rk3588/rk3588_t/recovery.fstab_AB
endif
-
+ifeq ($(strip $(BOARD_BUILD_GKI)), true)
+ #for gki
+ BOARD_SUPER_PARTITION_SIZE := 4294967296
+ BOARD_ROCKCHIP_DYNAMIC_PARTITIONS_SIZE := $(shell expr $(BOARD_SUPER_PARTITION_SIZE) - 4194304)
+endif
PRODUCT_UBOOT_CONFIG := rk3588
PRODUCT_KERNEL_DTS := rk3588-evb1-lp4-v10
BOARD_GSENSOR_MXC6655XA_SUPPORT := true
BOARD_CAMERA_SUPPORT_EXT := true
编译
完整编译方式与非GKI的一样
source build/envsetup.sh
lunch rk3588_t-userdebug
./build.sh -ACUKup
注意：这里编译的kernel只是为了编译出resource.img，kernel源码部分都是使用mkcombinedroot/vendor_ramdisk/lib/modules/下的ko文件直接打包成vendor_boot.img。内核部分使用的是google发布的boot.img，具体路径在mkcombinedroot/prebuilts/boot-5.10.img
编译完可以直接烧写 rockdev/Image-rk3588_t/update.img
在调试阶段也支持单独编译vendor_boot.img
编译命令：
make installclean;make vendorbootimage -j12
编译完可以直接烧写
out/target/product/rk3588_t/vendor_boot.img
固件烧写
固件烧写分2中方式：
- 完整包update.img
固件路径
rockdev/Image-rk3588_t/update.img
可以通过瑞芯微开发工具烧写
- 散包烧写
首先导入配置文件，方法是在工具 空白处右键-导入配置-选择导入txt文件-选择parameter.txt
然后依次选择rockdev/Image-rk3588_t/下对应的img文件进行烧写，分区A和B导入的固件是同一个
rockdev/Image-rk3588_t
├── baseparameter.img
├── boot.img
├── dtbo.img
├── init_boot.img
├── MiniLoaderAll.bin
├── misc.img
├── parameter.txt
├── resource.img
├── super.img
├── uboot.img
├── update.img
├── vbmeta.img
└── vendor_boot.img
KO编译及修改
添加新的模块驱动的方法
- 将驱动代码放到kernel-5.10对应的目录下，这里以新加触摸屏驱动gt1x为例进行说明。
将gt1x的驱动放在drivers/input/touchscreen/下面，并添加对应的Makefile和Kconfig，这里按kernel的标准方式进行操作； - 增加一个自己的config文件， 在
arch/arm64/configs/下新建一个xxx_gki.config，并将CONFIG_TOUCHSCREEN_GT1X=m(m表示编译为ko)添加到xxx_gki.config中； - 将ko文件名添加到load文件中， load文件在SDK的mkcombinedroot/res/目录下，如下
|.load文件名称| 对应分区 | makefile解析 |加载时间|
| - | - | - |
| vendor_ramdisk_modules.load | vendor_boot | vendor_ramdisk_gki.mk |ramdisk init阶段|
| vendor_modules.load | vendor | vendor_gki.mk |android启动时|
| recovery_modules.load | recovery | recovery_gki.mk |recovery阶段|
触摸屏驱动要在init阶段加载所以加到vendor_ramdisk_modules.load中
echo "gt1x-ts.ko" >> res/vendor_ramdisk_modules.load
触摸屏驱动要在init阶段加载所以加到vendor_ramdisk_modules.load中
同时要将也要在res/debug_list.load中添加，作为调试用，在这里面加编译的时候才会从kernel中更新对应的ko到vendor_boot.img中。 注意： res/debug_list.load仅做调试用，不需要提交到服务器上。
echo "gt1x-ts.ko" >> res/debug_list.load
注意 1：.load文件关乎驱动的加载顺序，请不要修改原有顺序，仅在需要时添加自己的驱动名称，否则可能会导致系统无法启动！！！
注意 2：如果使用A/B系统，请务必保证vendor_ramdisk_modules.load和recovery_modules.load文件内容一致，否则会导致无法启动！代码默认使用软链接将二者链接起来，请不要自己修改！！！
注意 3：如果是在android启动的时候加载的ko可以放在vendor_modules.load中，但需要注意：vendor下的ko不会被系统主动加载！如果仅需要在开机阶段自动加载，可以使用Rockchip提供的默认加载脚本init.insmod.sh，该脚本会自动加载device/rockchip/common/rootdir/init.insmod.cfg配置中的所有ko。
- 编译
- 进到kernel-5.10目录下进行ko文件编译
配置clang编译链（编译链版本请参考build.sh中的配置）
export PATH=../prebuilts/clang/host/linux-x86/clang-r450784d/bin:$PATH
make CROSS_COMPILE=aarch64-linux-gnu- LLVM=1 LLVM_IAS=1 ARCH=arm64 gki_defconfig rockchip_gki.config xxx_gki.config && make CROSS_COMPILE=aarch64-linux-gnu- LLVM=1 LLVM_IAS=1 ARCH=arm64 rk3588s-evb8-lp4x-v10.img -j32
- 拷贝KO文件到
mkcombinedroot/vendor_ramdisk/lib/modules/
KO编完后进到mkcombinedroot/下执行mkgki4.sh脚本自动从kernel-5.10下面拷贝； 也可以手动进行拷贝
cd ../mkcombinedroot/
./mkgki4.sh
- 编译vendor_boot.img
在工程根目录下编译vendor_boot.img，命令如下。 这一步是将KO文件打包到vendor_boot.img，在降vendor_boot.img烧写到机器中。
make installclean;make vendorbootimage -j12
- 验证
-
烧写
out/target/product/rk3588_t/vendor_boot.img文件到机器中开机验证 -
如果是放在vendor分区的ko可以在系统起来后直接push到机器内的vendor分区中，手动挂载进行验证
-
如果有涉及到dts的修改，需要烧写kernel-5.10下的
resource.img
| Boot mode | Storage | Display | Keypad | Battery | PMIC | TP | NFC/Wi-Fi/BT | Sensors | Camera |
|---|---|---|---|---|---|---|---|---|---|
| Recovery | Y | Y | Y | Y | Y | N | N | N | N |
| Charger | Y | Y | Y | Y | Y | N | N | N | N |
| Android | Y | Y | Y | Y | Y | Y | Y | Y | Y |
调试ko方法
-
在kernel-5.10目录下修改对应ko的驱动源码
-
使用如下命令进行ko编译
- 配置clang编译链（编译链版本请参考
build.sh中的配置）export PATH=../prebuilts/clang/host/linux-x86/clang-r450784d/bin:$PATH - 编译ko
make CROSS_COMPILE=aarch64-linux-gnu- LLVM=1 LLVM_IAS=1 ARCH=arm64 gki_defconfig rockchip_gki.config xxx_gki.config && make CROSS_COMPILE=aarch64-linux-gnu- LLVM=1 LLVM_IAS=1 ARCH=arm64 rk3588s-evb8-lp4x-v10.img -j32
-
进到
mkcombinedroot目录。将需要更新的ko文件名添加到res/debug_list.load中 -
进到
mkcombinedroot目录，配置dtb，执行./mkgki4.sh将ko文件打包到vender_boot.img中cd ../mkcombinedroot/ export MY_DTB=rk3588s-evb8-lp4x-v10 ./mkgki4.sh- 拷贝KO文件到
mkcombinedroot/vendor_ramdisk/lib/modules/
KO编完后进到mkcombinedroot/下执行mkgki4.sh脚本自动从kernel-5.10下面拷贝； 也可以手动进行拷贝
cd ../mkcombinedroot/ ./mkgki4.sh- 编译vendor_boot.img
在工程根目录下编译vendor_boot.img，命令如下。 这一步是将KO文件打包到vendor_boot.img，在降vendor_boot.img烧写到机器中。
make installclean;make vendorbootimage -j12- 验证
- 烧写
out/target/product/rk3588_t/vendor_boot.img文件到机器中开机验证 - 如果是放在vendor分区的ko可以在系统起来后直接push到机器内的vendor分区中，手动挂载进行验证
- 如果有涉及到dts的修改，需要烧写kernel-5.10下的
resource.img
- 调试完成后，将
vendor_ramdisk/lib/modules的ko文件（被脚本自动拷贝）进行提交
- 拷贝KO文件到
有关打包工具的详细说明，请参考：mkcombinedroot/README
注意：kernel编译ko的时候如果有修改了config，则编译中间会卡住很长一段时间，这是在做编译优化，根据编译服务器硬件配置不同优化的速度也不同，即卡住的时间也不同。 所以这个卡住是正常现象。
开机log确认
uboot阶段
| 内容 | header版本 |
|---|---|
| vendor_ramdisk(v-ramdisk) | V3+ |
| bootconfig | V4+ |
## Booting Android Image at 0x003ff000 ...
Kernel: 0x00400000 - 0x03088ffc (45604 KiB)
v-ramdisk: 0x0a200000 - 0x0a6944c8 (4690 KiB)
ramdisk: 0x0a6944c8 - 0x0a7e54df (1349 KiB)
bootconfig: 0x0a7e54df - 0x0a7e559c (1 KiB)
bootparams: 0x0a7e559c - 0x0a7e759c
Android阶段
GKI版本： Linux version 5.10.117-android13-9-00037-gbc08447eb7bd
[ 0.000000][ T0] Booting Linux on physical CPU 0x0000000000 [0x412fd050]
[ 0.000000][ T0] Linux version 5.10.117-android12-9-00037-gbc08447eb7bd (build-user@build-host) (Android (7284624, based on r416183b) clang version
12.0.5 (https://android.googlesource.com/toolchain/llvm-project c935d99d7cf2016289302412d708641d52d2f7ee), LLD 12.0.5 (/buildbot/src/android/llvm-toolchai
n/out/llvm-project/lld c935d99d7cf2016289302412d708641d52d2f7ee)) #1 SMP PREEMPT Thu Aug 25 15:24:20 UTC 2022
Kernel command line： Header V4中不能存在androidboot.xxx这一类的命令行参数，这类参数全部在bootconfig中。此类参数可以通过cat /proc/bootconfig确认。
[ 0.000000][ T0] Kernel command line: stack_depot_disable=on kasan.stacktrace=off kvm-arm.mode=protected cgroup_disable=pressure cgroup.memory=nokme
m storagemedia=emmc console=ttyFIQ0 firmware_class.path=/vendor/etc/firmware init=/init rootwait ro loop.max_part=7 bootconfig buildvariant=userdebug earl
ycon=uart8250,mmio32,0xfeb50000 irqchip.gicv3_pseudo_nmi=0
KO加载
开始加载ko，可以看到log：
[ 1.034730][ T1] Run /init as init process
[ 1.036190][ T1] init: init first stage started!
[ 1.040534][ T1] init: Loading module /lib/modules/io-domain.ko with args ''
[ 1.042038][ T1] init: Loaded kernel module /lib/modules/io-domain.ko
KO加载报错
使用了未导出的符号，报错重启：
[ 0.805736][ T1] cryptodev: Unknown symbol crypto_ahash_final (err -2)
[ 0.806383][ T1] cryptodev: Unknown symbol sg_nents (err -2)
[ 0.806972][ T1] cryptodev: Unknown symbol crypto_alloc_akcipher (err -2)
[ 0.819768][ T1] Kernel panic - not syncing: Attempted to kill init! exitcode=0x00007f00
注： 正常不会出现此问题，参考 名词解释阶段——ABI进行处理
调试技巧
打印更多KO加载的log
修改ratelimit的值，可以打印更多init的log，方便查问题，init信息太少会把ko加载的报错信息隐藏掉。
xxx@sys2_206:~/a2_Android13_29_sdk/kernel-5.10$ git diff
diff --git a/include/linux/ratelimit_types.h b/include/linux/ratelimit_types.h
index b676aa419eef..db7eb5be2d8b 100644
--- a/include/linux/ratelimit_types.h
+++ b/include/linux/ratelimit_types.h
@@ -7,7 +7,7 @@
#include <linux/spinlock_types.h>
#define DEFAULT_RATELIMIT_INTERVAL (5 * HZ)
-#define DEFAULT_RATELIMIT_BURST 10
+#define DEFAULT_RATELIMIT_BURST 1000
在RK的kernel打包中编译GKI使用的boot.img
先按正常编译步骤编译kernel，生成arch/arm64/boot/Image
用如下命令打包boot.img
mkbootimg --kernel arch/arm64/boot/Image --header_version 4 --output …/mkcombinedroot/prebuilts/boot-5.10.img
查看google发布的内核接口
标准的内核接口定义在android目录下：
:~/a5_google_kenrel/common$ tree a
android/ arch/
wlq@sys2_206:~/a5_google_kenrel/common$ tree android/
android/
├── abi_gki_aarch64
├── abi_gki_aarch64_core
├── abi_gki_aarch64_db845c
├── abi_gki_aarch64_exynos
├── abi_gki_aarch64_fips140
├── abi_gki_aarch64_galaxy
├── abi_gki_aarch64_generic
├── abi_gki_aarch64_hikey960
├── abi_gki_aarch64_rockchip
├── abi_gki_aarch64_type_visibility
├── abi_gki_aarch64_virtual_device
├── abi_gki_aarch64.xml
├── abi_gki_modules_exports
├── abi_gki_modules_protected
├── gki_aarch64_fips140_modules
├── gki_aarch64_modules
└── gki_system_dlkm_modules
如何提交内核接口到upstream
如果需要添加新的内核接口，可以生成对应的patch，再将patch通过瑞芯微的redmine系统提交个瑞芯微审核然后再统一提交给google
diff --git a/android/abi_gki_aarch64_rockchip b/android/abi_gki_aarch64_rockchip
index 85bd8bc134cf..3344cf064e06 100644
--- a/android/abi_gki_aarch64_rockchip
+++ b/android/abi_gki_aarch64_rockchip
@@ -2144,6 +2144,15 @@
mmc_pwrseq_register
mmc_pwrseq_unregister
+# required by r8168.ko
+ pci_set_mwi
+ pci_clear_mwi
+ proc_get_parent_data
+ skb_checksum_help
+ __skb_gso_segment
+ remove_proc_subtree
+ pci_choose_state
+
# required by reboot-mode.ko
devres_release
kernel_kobj