总结： Android Audio不简单呀，一个人摸索入门不容易的，研究了一段时间，感觉还不是很懂，但以下的知识对入门还是有帮助的。
Audio架构中的名词
FE(Front End)
提供pcm的设备信息，将数据从用户空间传输到音频后端，以及从音频后端捕获录制等
vendor/qcom/opensource/audio-hal/primary-hal/msm8974/platform.c
platform_init中根据声卡的名称"bengal-qrd-snd-card"获取得知配置platform_info对应的文件
PLATFORM_INFO_XML_PATH_QRD_NAME，audio_platform_info_qrd.xml，那这个文件是用来干嘛的呢？
其一就是包含pcm_ids，pcm就是我们这里提到的音频前端FE，访问pcm设备时需要知道设备的id(/dev/snd/pcmC0D3P /dev/snd/pcmC0D17c\ C0: card0 D3/D17: device id c:capture p:playbac)，不同的平台上可能出现差异，所以Framework就通过usecase来指定pcm设备，pcm_device_table用于管理usecase与pcm_ids的map关系，最终通过配置文件来修改以实现map关系的管理
pcm_device_table
[USECASE_AUDIO_PLAYBACK_LOW_LATENCY] = {
LOWLATENCY_PCM_DEVICE, //PCM_PLAYBACK
LOWLATENCY_PCM_DEVICE}, //PCM_CAPTURE
<pcm_ids>
<usecase name="USECASE_AUDIO_PLAYBACK_LOW_LATENCY" type="out" id="9"/>
vendor/qcom/opensource/audio-hal/primary-hal/hal/audio_hw.c中包含use_case_table，
常见的就是low_latency(按键音等低延时)、deep_buffer(音乐等)、compress_offload(mp3、flac、acc等不需要软件解码，送入ADSP进行解码)、record(录音)、voice_call(语音通话)、voip_call(网络通话)等等
BE(Back End)
执行音频路由任务，连接Audio Device(Mic Speaker Codec等)，ADSP 处于音频前端和音频后端之间
audio_platform_info_qrd.xml中包含的其二backend_names，audio device与interface的对应关系，使用QCAT Tool显示RX Devices，需要做如下修改，因为并非使用高通的WSA
- <device name="SND_DEVICE_OUT_SPEAKER" interface="WSA_CDC_DMA_RX_0"/>
+ <device name="SND_DEVICE_OUT_SPEAKER" interface="SEC_MI2S_RX"/>
ACDB(Audio Calibration Database)
audio_platform_info_qrd.xml中包含的其三acdb_ids，用于给每个音频设备在DSP 路径上的配置，或者可以说是DSP的配置文件
APR(Asynchronous Packet Router)
APR是基于SMD(Share memory Driver,提供通道让不同设备数据交互)和SMMU(System Memory Management Unit, 如果外部设备有一段可以访问的内存，那么可以直接通过smmu把这段内存映射给cpu，cpu可以直接去访问这段内存)的一种IPC 通信方式，用于Ap与QDSP通信
ADSP.VT.5.4.1/adsp_proc/apr - vendor/qcom/opensource/audio-kernel/ipc/apr.c
DAI(Digital Audio Interface)
一个machine当然要包含自己内部的音频控制接口单元–cpu_dai和外部音频设备通信协议转换接口单元–codec_dai
I2S(Inter-IC Sound)
SCLK串行时钟、WS声道选择线、Tx用于传输音频数据、Rx用于接收音频数据
PCM(Pulse Code Modulation)
BCLK位时钟，依据采样率变化、SYNC同步信号、Tx传输音频数据、Rx接受音频数据
SWR(SoundWire)
SWR由MIPI联盟推出的音频接口，有主从的两线制(clock,data)总线，Mipi SoundWire Spec 学习笔记
SLIM (Serial Low Power Interchip Media Bus)
SLIM由MIPI联盟开发的音频接口，同SWR类似，但支持多个Data线，可用于与aux(不适用dai) codec通信
ALSA(Advanced Linux Sound Architecture)
图片来自于ALSA 架构，推荐博客高通音频架构（三），ASOC(ALSA Systen on chip)主要提供一套独立的嵌入式系统设备管理框架。
(1) ALSA Library : 应用通过ALSA Library于内核空间进行交互，Android中使用tinyalsa，支持PCM和Control接口
(2) ALSA Layer： 处于内核空间，向上提供接口，如PCM、Control、Mixer，向下驱动硬件设备 I2S、Codec、Machine
(3) ASOC Machine:作为Codec和Platform的载体，将硬件设备关联起来，连接codec_dai与cpu_dai，构成硬件通路
(4) ASOC Platform: 可以简单理解为就是Soc平台，负责Soc侧的音频传输，音频接口配置与控制等
(5) ASOC Codec: 控制音频解码，完成音频采集和播放过程中模拟与数字间的转换，aux代表未使用dai的codec，
(6) DAPM: Dynamic Audio Power Management 在任何时候都能工作在最小功耗下，控制内部widget通路上下点
ADSP的加载过程
kernel/msm-4.19/drivers/soc/qcom/subsys-pil-tz.c (generic peripheral image loader (PIL) driver)
在devictree中可以发现有 qcom,firmware-name = adsp cdsp venus modem ipa_fws slpi
其实在PIL驱动并没有发生image加载过程,真正的加载有对应的子模块处理中，adsp就是在adsp-loader.c中
vendor/qcom/opensource/audio-kernel/dsp/adsp-loader.c
通过init.qcom.rc启动时 write /sys/kernel/boot_adsp/boot 1 ,之后就会subsystem_get(“adsp”)获取并加载;
其他例如slpi, 要看高通不同的平台子模块的组成，有些PIL是没有load slpi模块，sensor也是adsp中，
所以启动的节点会出现/sys/kernel/boot_adsp/ 以及 /sys/kernle/boot_slpi/两种情况
kernel/msm-4.19/drivers/sensors/sensors_ssc.c subsystem_get_with_fwname(“slpi”)获取并加载,如果有slpi的话
子系统的通信方式有三种(1)smen (2)spss(Secure-Processor-SubSystem) (3)spi,之前分析过adsp与glink以及ssc的通信都是基于smem
之前分析的博客 Android Qcom USB Driver学习(九) Android Qcom Sensor架构学习
AMSS contents.xml和build.py可以得知各子系统的镜像 common/build/ufs/bin/asic/pil_split_bins中打包成NON-HLOS.bin或者是SDA.bin
PILDxe会去解析uefipil.cfg,其中就包含modem镜像的组成adsp slpi cdsp modem spss等几个子系统
Android推动GKI，能有更多的可动态加载的内核模块 (DLKM)，老点的Android版本audio也一直在执行DLKM的，以adsp-loader为例
vendor/qcom/opensource/audio-kernel/dsp/Kbuild Android.mk 将adsp-loader.c 模块化为audio_adsp_loader.ko
在out目录下有/dlkm/lib/modules/audio_adsp_loader.ko 和 /vendor/lib/modules/audio_adsp_loader.ko (Android Kernel ko)
vendor/lib/modules # modinfo audio_adsp_loader.ko
filename: audio_adsp_loader.ko
license: GPL v2
description: ADSP Loader module
alias: of:N*T*Cqcom,adsp-loader
alias: of:N*T*Cqcom,adsp-loaderC*
depends:
name: adsp_loader_dlkm
vermagic: 4.19.157+ SMP preempt mod_unload modversions aarch64
uart boot log:
subsys-pil-tz ab00000.qcom,lpass: Falling back to syfs fallback for: adsp.mdt
subsys-pil-tz ab00000.qcom,lpass: Falling back to syfs fallback for: adsp.b02
subsys-pil-tz ab00000.qcom,lpass: Subsystem error monitoring/handling services are up
adsprpc: fastrpc_restart_notifier_cb: adsp subsystem is up
adsprpc: fastrpc_rpmsg_probe: opened rpmsg channel for adsp
之前遇到过Google服务器导致ADSP中的SSC编译有问题，因为SSC用到了谷歌的Protocol，ADSP子系统启动有问题会开不了机，
看编译出的镜像size变小也可以得知有问题，暂时还没遇到过不加载导致Audio功能有问题的情况。
那高通的ADSP当作为audio究竟是如何工作?高通msm8996平台的ASOC音频路径分析
高通平台上fe dai link是链接cpu和adsp的，并非使用的i2s等硬件接口，而是使用共享内存的方式，在数据传输过程中没有实际的操作，platform直接将音频数据最终写入adsp，它描述的并非一个物理设备，这段是从博主那边看来的，自己还需看代码体会一下，挖坑。
Audio设备树配置
[Linux Audio Driver] 高通平台MI2S总线配置
可见devicetree中的asoc-cpu asoc-platform包含了所有的dai接口，这里使用的MI2S1对应Secondary
硬件接口：LPI_MI2S1_CLK LPI_MI2S1_WS LPI_MI2S1_DATA0 LPI_MI2S1_DATA1
注意这里的gpio与lpg gpio的对应关系，硬件上的gpio102-gpio105对应lpg goui10-13
qcom,mi2s-audio-intf = <1>;
qcom,sec-mi2s-gpios = <&cdc_sec_mi2s_gpios>;
&q6core {
cdc_sec_mi2s_gpios: msm_cdc_pinctrl_sec {
compatible = "qcom,msm-cdc-pinctrl";
pinctrl-names = "aud_active", "aud_sleep";
pinctrl-0 = <&lpi_i2s2_sck_active &lpi_i2s2_ws_active
&lpi_i2s2_sd0_active &lpi_i2s2_sd1_active>;
pinctrl-1 = <&lpi_i2s2_sck_sleep &lpi_i2s2_ws_sleep
&lpi_i2s2_sd0_sleep &lpi_i2s2_sd1_sleep>;
qcom,lpi-gpios;
};
};
耳机检测相关 0:NC(normally-closed) 1:NO(normally-open)，高通音频MBHC耳机系统软件相关配置归纳
根据硬件原理图，确认HS-DET和HPG-L引脚的连接状态，未插入时断开的则时NO,未插入时连接的则是NC
qcom,msm-mbhc-hphl-swh = <1>;
qcom,msm-mbhc-gnd-swh = <1>;
DMIC0 DCMI1数字Mic输入接口对应硬件DMIC1_CLK DMIC1_DATA DMIC2_CLK DMIC2_DATA, micbias麦克风工作电压
qcom,cdc-dmic01-gpios = <&cdc_dmic01_gpios>;
qcom,cdc-dmic23-gpios = <&cdc_dmic23_gpios>;
qcom,cdc-micbias1-mv = <1800>
qcom,cdc-micbias2-mv = <1800>
qcom,cdc-micbias3-mv = <1800>
如果是dai的codec则添加在这里asoc-codec和asoc-codec-names，vendor/qcom/opensource/audio-kernel/asoc/bengal.c，populate_snd_card_dailinks将所有的snd_soc_dai_link保持在snd_soc_card中，在msm_populate_dai_link_component_of_node, 通过上面记录的num_links，逐个通过platform_name去找platform_of_node，对应devicetree中的asoc-platform-names和asoc-platform，通过cpu_dai_name去找cpu_of_node对应devicetree中的asoc-cpu-names和asoc-cpu，codec同理对应asoc-codec和asoc-codec-names，上述的内容都包含在sns_soc_dai_link中，硬件上我们得知使用的Secondary MI2S接的PA(PA也当作codec来看)，所以需要配置dai_link，在max98390 snd_soc_register_codec(&i2c->dev, &soc_codec_dev_max98390, max98390_dai, ARRAY_SIZE(max98390_dai));
分别传入snd_soc_codec_driver以及snd_soc_dai_driver，devm_snd_soc_register_card中调用soc_probe_link_dais来probe codec，当然这里并非作为i2c器件的i2c_driver的max98390_i2c_probe，而是作为alsa component的snd_soc_component_driver或者snd_soc_codec_driver(这两种其实都是抽象component示例最终挂在到全局链表component_list)的max98390_probe
asoc-codec = <&stub_codec>, <&bolero>;
asoc-codec-names = "msm-stub-codec.1", "bolero_codec";
static struct snd_soc_dai_link msm_mi2s_be_dai_links[MI2S_DAI_LINK_MAX] = {
{
.name = LPASS_BE_SEC_MI2S_RX,
.stream_name = "Secondary MI2S Playback",
.cpu_dai_name = "msm-dai-q6-mi2s.1",
.platform_name = "msm-pcm-routing",
- .codec_name = "msm-stub-codec.1",
- .codec_dai_name = "msm-stub-rx",
+ .codec_name = "max98390.0-0038",
+ .codec_dai_name = "max98390-aif1",
.no_pcm = 1,
.dpcm_playback = 1,
.id = MSM_BACKEND_DAI_SECONDARY_MI2S_RX,
.be_hw_params_fixup = msm_be_hw_params_fixup,
.ops = &msm_mi2s_be_ops,
.ignore_suspend = 1,
.ignore_pmdown_time = 1,
},
static struct snd_soc_dai_driver max98390_dai[] = {
{
.name = "max98390-aif1",
.playback = {
.stream_name = "HiFi Playback",
.channels_min = 1,
.channels_max = 2,
.rates = MAX98390_RATES,
.formats = MAX98390_FORMATS,
},
.capture = {
.stream_name = "HiFi Capture",
.channels_min = 1,
.channels_max = 2,
.rates = MAX98390_RATES,
.formats = MAX98390_FORMATS,
},
.ops = &max98390_dai_ops,
}
};
高通各平台之间也是差异的，snd_soc_dai_link结构体中仅codecs为snd_soc_dai_link_component，有些是cpu codecs platforms都是，所以在snd_soc_dai_link中使用了SND_SOC_DAILINK_REG，对应到SND_SOC_DAILINK_DEF/SND_SOC_DAILINK_DEFS定义的dai links kernel/msm-5.4/techpack/audio/asoc/msm-dailink.h
SND_SOC_DAILINK_DEFS(sec_mi2s_rx,
DAILINK_COMP_ARRAY(COMP_CPU("msm-dai-q6-mi2s.2")),
- DAILINK_COMP_ARRAY(COMP_CODEC("msm-stub-codec.1", "msm-stub-rx")),
+ DAILINK_COMP_ARRAY(COMP_CODEC("max98390.1-0038", "max98390-aif1")),
DAILINK_COMP_ARRAY(COMP_PLATFORM("msm-pcm-routing")));
static struct snd_soc_dai_link msm_mi2s_be_dai_links[]
{
.name = LPASS_BE_SEC_MI2S_RX,
.stream_name = "Secondary MI2S Playback",
.no_pcm = 1,
.dpcm_playback = 1,
.id = MSM_BACKEND_DAI_SECONDARY_MI2S_RX,
.be_hw_params_fixup = msm_be_hw_params_fixup,
.ops = &msm_mi2s_be_ops,
.ignore_suspend = 1,
.ignore_pmdown_time = 1,
SND_SOC_DAILINK_REG(sec_mi2s_rx),
},
高通的PA相关的属性，0：没使用WSA PA, 1: 单声道 2：双声道，项目上没有用到置为0就不研究了
qcom,wsa-max-devs = <0>;
qcom,wsa-devs = <0>;
qcom,wsa-aux-dev-prefix = "SpkrMono";
硬件接口 SWR_TX_CLK SWR_TX_DATA0 SWR_TX_DATA1 SWR_RX_CLK SWR_RX_DATA0 SWR_TX_DATA1 对应LPI_GPIO 0-5
qcom,codec-max-aux-devs = <1>;
qcom,codec-aux-devs = <&wcd937x_codec>;
snd_soc_of_parse_audio_routing解析存入of_dapm_routes:snd_soc_dapm_route，上述devicetree对应routes.sink routes.source(kcontrol为空是dirct直连)，通过snd_soc_dapm_add_routes完成音频路径的注册，作用是将系统中注册的各种wideget:snd_soc_dapm_widget连接在一起
qcom,audio-routing =
"TX DMIC0", "MIC BIAS1",
"MIC BIAS1", "Digital Mic0",
widget是通过snd_soc_dapm_new_controls注册的，四种widget的定义在include/sound/soc-dapm.h
(1)platform domain：SND_SOC_DAPM_MIC (2)path domain：SND_SOC_DAPM_MICBIAS_E
(3)Codec domain：SND_SOC_DAPM_VMID (4)stream domain：SND_SOC_DAPM_ADC_E
项目中使用wcd937x没有DMIC输入，提供MICBIAS，DMIC来自bolero
bolero_codec
/hon4290-android12-vendor/vendor/qcom/opensource/audio-kernel/asoc/bengal.c
static const struct snd_soc_dapm_widget msm_int_dapm_widgets[] = {
SND_SOC_DAPM_MIC("Digital Mic0", msm_dmic_event),
SND_SOC_DAPM_MIC("Digital Mic1", msm_dmic_event),
};
vendor/qcom/opensource/audio-kernel/asoc/codecs/bolero/tx-macro.c
static const struct snd_soc_dapm_widget tx_macro_dapm_widgets_common[]
SND_SOC_DAPM_ADC_E("TX DMIC0", NULL, SND_SOC_NOPM, 0, 0,
tx_macro_enable_dmic, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMD),
wcd937x_codec
vendor/qcom/opensource/audio-kernel/asoc/codecs/wcd937x/wcd937x.c
static const struct snd_soc_dapm_widget wcd937x_dapm_widgets[] =
/* mixer widgets adc1_switch kcontrol SOC_DAPM_SINGLE*/
SND_SOC_DAPM_MIXER_E("ADC1_MIXER", SND_SOC_NOPM, 0, 0, adc1_switch, ARRAY_SIZE(adc1_switch),
wcd937x_tx_swr_ctrl, SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMD),
/* micbias widgets*/
SND_SOC_DAPM_MICBIAS_E("MIC BIAS1", SND_SOC_NOPM, 0, 0, wcd937x_codec_enable_micbias,
SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMU | SND_SOC_DAPM_POST_PMD),
我们知道widget也是分起点终点的，不同的kernel版本会带来变化，SND_SOC_DAPM_MICBIAS_E(不能定义在route的起点和重点)变为SND_SOC_DAPM_SUPPLY录音时mic bias 无法自动打开问题，所以audio-routing的配置需要修改为
qcom,audio-routing =
"TX DMIC0", "Digital Mic0",
"TX DMIC0", "MIC BIAS1",
SND_SOC_DAPM_SUPPLY("MIC BIAS1", SND_SOC_NOPM, 0, 0, wcd938x_codec_enable_micbias,
SND_SOC_DAPM_PRE_PMU | SND_SOC_DAPM_POST_PMU | SND_SOC_DAPM_POST_PMD),
高通hal还有route相关的配置configs/bengal/mixer_paths_qrd.xml，在 bring up的时候，先使用tinymix/tinycap/tinyplay验证通路，再进行修改
tinymix "SEC_MI2S_RX Audio Mixer MultiMedia1" "1"
tinymix "SEC_MI2S_RX SampleRate" "KHZ_48"
tinymix "SEC_MI2S_RX Format" "S16_LE"
tinymix "SEC_MI2S_RX Channels" "Two"
tinyplay /data/test.wav
tinymix "MultiMedia1 Mixer TX_CDC_DMA_TX_3" "1"
tinymix "TX_CDC_DMA_TX_3 Channels" "One"
tinymix "TX_AIF1_CAP Mixer DEC0" "1"
tinymix "TX DMIC MUX0" "DMIC0"
tinycap /data/test.wav
<path name="deep-buffer-playback">
- <ctl name="RX_CDC_DMA_RX_1 Audio Mixer MultiMedia1" value="1" />
+ <ctl name="SEC_MI2S_RX Audio Mixer MultiMedia1" value="1" />
</path>
<path name="speaker">
- <ctl name="RX_CDC_DMA_RX_1 Channels" value="One" />
- <ctl name="RX_MACRO RX2 MUX" value="AIF2_PB" />
- <ctl name="RX INT2_1 MIX1 INP0" value="RX2" />
- <ctl name="AUX_RDAC Switch" value="1" />
- <ctl name="SpkrMono WSA_RDAC" value="Switch" />
+ <ctl name="SEC_MI2S_RX SampleRate" value="KHZ_48"/>
+ <ctl name="SEC_MI2S_RX Format" value="S16_LE" />
+ <ctl name="SEC_MI2S_RX Channels" value="Two" />
</path>
<path name="dmic1">
<ctl name="TX_CDC_DMA_TX_3 Channels" value="One" />
<ctl name="TX_AIF1_CAP Mixer DEC0" value="1" />
<ctl name="TX DMIC MUX0" value="DMIC0" />
</path>
static const struct snd_kcontrol_new msm_mi2s_snd_controls[] = {
SOC_ENUM_EXT("SEC_MI2S_RX SampleRate", sec_mi2s_rx_sample_rate,
mi2s_rx_sample_rate_get, mi2s_rx_sample_rate_put),
SOC_ENUM_EXT("SEC_MI2S_RX Format", mi2s_rx_format,
msm_mi2s_rx_format_get, msm_mi2s_rx_format_put),
SOC_ENUM_EXT("SEC_MI2S_RX Channels", sec_mi2s_rx_chs,
msm_mi2s_rx_ch_get, msm_mi2s_rx_ch_put),
static struct dev_config mi2s_rx_cfg[] = {
[SEC_MI2S] = {
SAMPLING_RATE_48KHZ, SNDRV_PCM_FORMAT_S16_LE, 2},
};
最后再通过 tinymix “SEC_MI2S_RX Audio Mixer MultiMedia1” “1”理解一下playback的route
PCM->MultiMedia1 Playback->MM_DL1 -> MultiMedia1 ⊕ SEC_MI2S_RX Audio Mixer->SEC_MI2S_RX->Secondary MI2S Playback
MM_DL1：SND_SOC_DAPM_AIF_IN对应一个数字音频输入接口, SEC_MI2S_RX：SND_SOC_DAPM_AIF_OUT对应一个数字音频输出接口；dai widget和stream widget是通过stream name来匹配的，通过aif_name来指定，MultiMedia1 Playback(stream_name)连接FE DAI, Secondary MI2S Playback(stream_name)连接BE DAI；SEC_MI2S_RX Audio Mixer：SND_SOC_DAPM_MIXER是个mixer(可用于多个MultiMediax混合)，MultiMedia1作为kcontrol，连接Source和Sink