iOS AI智能对话项目(一边设备开外放声音,一边录音降噪)

前言

前段时间写了一个Ai 智能语音对话场景的项目,现在做一个记录。
项目需求
1.利用webSocket 发送和接收语音。
2.接收的文件为MP3,发送的音频格式为PCM。
3.录音要求降噪。
4.接收的音频要求外放。

看到项目需求1和2都很好实现,但是3和4就有点不好做了,外放的同时还要录音并且录音要降噪,不能掺杂外放声音。

实现

一 、了解iOS录音和播放

1、iOS webSocket Facebook开源webSocket地址 利用其来实现接收和发送录音文件。
2、iOS mobile-ffmpeg ffmpeg 开源地址 利用其处理接收到的MP3文件用于播放。

现在开始考虑如何实现设备外放的同时录音并且录音要降噪,不能掺杂外放声音。
iOS 常用的录音和播放方式有3种
1)AVFoundation框架中的AVAudioRecorder 、AVAudioPlayer
2) AudioToolBox 中的AudioQueue
3)Audio Unit
它们的层级如下图

在这里插入图片描述

二、项目重点

1)音频场景设置

我们再理解一下 AVAudioSession ,了解一下音频的场景七大类来设置我们需要的场景,而这七类肯定是不能满足所有的需求的。CoreAudio提供的方法是,首先定下七种的一种基调,然后在进行微调。

以下是项目中场景需要的设置。

    AV

猜你喜欢

转载自blog.csdn.net/sky_long_fly/article/details/114873136