【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

其他 2020-06-29 12:37:59 阅读次数: 0

文章目录





安卓直播推流专栏博客总结


Android RTMP 直播推流技术专栏 :


0 . 资源和源码地址 :


1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

3. 讲解 RTMP 数据包封装格式 :

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

11. 解析 AAC 音频格式 :

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :





Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;


视频推流 : 之前的一系列博客中完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;


音频推流 : 开始进行音频直播推流操作 , 先采集音频 , 将音频编码为 AAC 格式 , 将编码后的音频打包成 RTMP 包 , 然后推流到服务器中 ;


AAC 音频解码信息 : AAC 音频数据推流前 , 需要将解码信息推流到服务器 , 否则播放器无法识别该 AAC 音频数据 , 本篇博客就是讲解 FAAC 编码器编码生成 AAC 解码信息 , 并封装 RTMPPacket 数据包 , 推流到 RTMP 服务器中 ;

上一篇博客 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 ) 讲解的是 AAC 解码信息封装 ;


AAC 实际音频采样数据封装推流 : AAC 音频解码信息推流到服务器之后 , 开始编码实际的 AAC 音频采样数据 , 之后播放器可以根据之前的 AAC 解码信息解码后续推流的实际的采样数据 ;

本篇博客讲解 AAC 实际的音频采样数据的编码封装 ;





一、 FAAC 编码器编码 AAC 音频采样数据


1 . AAC 音频采样数据生成方法 : FAAC 编码器调用 faacEncEncode 方法 , 生成 AAC 音频采样数据 ;


2 . faacEncEncode 方法原型 :

#include <faac.h>

int FAACAPI faacEncEncode(faacEncHandle hEncoder, int32_t * inputBuffer, unsigned int samplesInput,
			 unsigned char *outputBuffer,
			 unsigned int bufferSize);

① 返回值 : 编码后的数据字节长度

② faacEncHandle hEncoder 参数 : FAAC 编码器

③ int32_t * inputBuffer 参数 : 需要编码的 PCM 音频输入数据

④ unsigned int samplesInput : 传入的 PCM 样本个数

⑤ unsigned char *outputBuffer : 编码后的 AAC 格式音频输出缓冲区

⑥ unsigned int bufferSize : 输出缓冲区最大字节大小

后两个参数定义不同级别的指针类型 , 使用方法不同 , 但形式类似 , 都是用指针变量 , 传入地址作为参数 , 传入的指针当做返回值使用 ;


3 . 代码示例 :

    int encodeAacDataByteCount = faacEncEncode(
            mFaacEncHandle, // FAAC 编码器
            reinterpret_cast<int32_t *>(data), // 需要编码的 PCM 音频输入数据
            mInputSamples, // 传入的 PCM 样本个数
            mFaacEncodeOutputBuffer, // 编码后的 AAC 格式音频输出缓冲区
            mMaxOutputBytes); // 输出缓冲区最大字节大小




二、 封装 RTMP 音频数据头


1 . 封装第 1 1 字节数据 : 第一个字节中封装了 4 4 部分数据 , 音频格式 , 采样率 , 采样位数 , 音频通道 ; 一般情况下是 AE , 或者 AF ;


① AF 含义 : AAC 格式 , 44100 Hz 采样 , 16 位采样位数 , 立体声 ;

② AE 含义 : AAC 格式 , 44100 Hz 采样 , 16 位采样位数 , 单声道 ;


参考博客 【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 ) 、四、 音频解码配置信息、 2. 第 11 字节 AF 数据解析 章节 , 有详细介绍这 8 8 位各代表的意义 ;


2 . 代码示例 :

    /*
        根据声道数生成相应的 文件头 标识
        AF / AE 头中的最后一位为 1 表示立体声, 为 0 表示单声道
        AF 是立体声
        AE 是单声道
     */
    rtmpPacket->m_body[0] = 0xAF;   //默认立体声

    if (mChannelConfig == 1) {
        // 如果是单声道, 将该值修改成 AE
        rtmpPacket->m_body[0] = 0xAE;
    }




三、 封装 RTMP 音频数据类型


AAC 音频数据类型 : 如果是编码的音频采样数据 , 类型是 01 , 如果是 AAC 解码信息 , 类型是 00 ; 这里是 01 类型 , AAC 音频采样数据 ;

// 编码出的声音 都是 0x01, 本方法是对音频数据进行编码的方法, 头信息肯定是 AF 01 数据
// 数据肯定是 AAC 格式的采样数据
rtmpPacket->m_body[1] = 0x01;




四、 拷贝 AAC 音频数据到 RTMPPacket 数据包中


之前调用 faacEncEncode方法 , 生成了 AAC 格式音频采样数据 , 将生成的信息封装到 RTMPPacket 数据包中 , RTMP 数据包的大小是生成 AAC 音频数据大小 + 2 ; 多出的 2 字节数据是 AF 01 ;

        // 拷贝 AAC 音频数据到 RTMPPacket 数据包中
        memcpy(&rtmpPacket->m_body[2], mFaacEncodeOutputBuffer, encodeAacDataByteCount);




五、 设置数据包大小


该数据包大小是 2 字节 , 加上 faacEncEncode方法生成 的 AAC 格式音频采样数据的大小 ;

2 字节是 AF 01 , 代表该数据是 AAC 音频数据 ;

        /*
            数据的大小 :
            前面有 2 字节头信息
            音频解码配置信息 : 前两位是 AF 00 , 指导 AAC 数据如何解码
            音频采样信息 : 前两位是 AF 01 , 实际的 AAC 音频采样数据
         */
        int rtmpPackagesize = 2 + encodeAacDataByteCount;




六、 设置绝对时间、数据类型、RTMP 通道、头类型


这些数据设置基本都是格式化的 , 按照如下设置即可 ;

    // 设置绝对时间, 一般设置 0 即可
    rtmpPacket->m_hasAbsTimestamp = 0;
    // 设置 RTMP 数据包大小
    rtmpPacket->m_nBodySize = rtmpPackagesize;
    // 设置 RTMP 包类型, 视频类型数据
    rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;
    // 分配 RTMP 通道, 该值随意设置, 建议在视频 H.264 通道基础上加 1
    rtmpPacket->m_nChannel = 0x11;
    // // 设置头类型, 随意设置一个
    rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;




七、 FAAC 编码器编码代码示例


/**
 * 音频数据编码
 * 接收 int8_t 类型的原因是, 这里处理的是 jbyte* 类型参数
 * jbyte 类型就是 int8_t 类型
 * @param data
 */
void AudioChannel::encodeAudioData(int8_t *data) {

    /*
        函数原型 :
        int FAACAPI faacEncEncode(
            faacEncHandle hEncoder,
            int32_t * inputBuffer,
            unsigned int samplesInput,
            unsigned char *outputBuffer,
            unsigned int bufferSize);

        faacEncHandle hEncoder 参数 : FAAC 编码器
        int32_t * inputBuffer 参数 : 需要编码的 PCM 音频输入数据
        unsigned int samplesInput : 传入的 PCM 样本个数
        unsigned char *outputBuffer : 编码后的 AAC 格式音频输出缓冲区
        unsigned int bufferSize : 输出缓冲区最大字节大小

        返回值 : 编码后的数据字节长度
     */
    int encodeAacDataByteCount = faacEncEncode(
            mFaacEncHandle, // FAAC 编码器
            reinterpret_cast<int32_t *>(data), // 需要编码的 PCM 音频输入数据
            mInputSamples, // 传入的 PCM 样本个数
            mFaacEncodeOutputBuffer, // 编码后的 AAC 格式音频输出缓冲区
            mMaxOutputBytes); // 输出缓冲区最大字节大小


    // 组装 RTMP 数据包
    if (encodeAacDataByteCount > 0) {
        /*
            数据的大小 :
            前面有 2 字节头信息
            音频解码配置信息 : 前两位是 AF 00 , 指导 AAC 数据如何解码
            音频采样信息 : 前两位是 AF 01 , 实际的 AAC 音频采样数据
         */
        int rtmpPackagesize = 2 + encodeAacDataByteCount;

        // 创建 RTMP 数据包对象
        RTMPPacket *rtmpPacket = new RTMPPacket;

        // 为 RTMP 数据包分配内存
        RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);

        /*
            根据声道数生成相应的 文件头 标识
            AF / AE 头中的最后一位为 1 表示立体声, 为 0 表示单声道
            AF 是立体声
            AE 是单声道
         */
        rtmpPacket->m_body[0] = 0xAF;   //默认立体声

        if (mChannelConfig == 1) {
            // 如果是单声道, 将该值修改成 AE
            rtmpPacket->m_body[0] = 0xAE;
        }

        // 编码出的声音 都是 0x01, 本方法是对音频数据进行编码的方法, 头信息肯定是 AF 01 数据
        // 数据肯定是 AAC 格式的采样数据
        rtmpPacket->m_body[1] = 0x01;

        // 拷贝 AAC 音频数据到 RTMPPacket 数据包中
        memcpy(&rtmpPacket->m_body[2], mFaacEncodeOutputBuffer, encodeAacDataByteCount);

        // 设置绝对时间, 一般设置 0 即可
        rtmpPacket->m_hasAbsTimestamp = 0;
        // 设置 RTMP 数据包大小
        rtmpPacket->m_nBodySize = rtmpPackagesize;
        // 设置 RTMP 包类型, 视频类型数据
        rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;
        // 分配 RTMP 通道, 该值随意设置, 建议在视频 H.264 通道基础上加 1
        rtmpPacket->m_nChannel = 0x11;
        // // 设置头类型, 随意设置一个
        rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;

        // 调用回调接口, 将该封装好的 RTMPPacket 数据包放入 native-lib 类中的 线程安全队列中
        // 这是个 RTMPPacketPackUpCallBack 类型的函数指针
        mRtmpPacketPackUpCallBack(rtmpPacket);
    }

}

猜你喜欢

转载自blog.csdn.net/han1202012/article/details/106844248
今日推荐
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
国产云输入法——仅华为无云端数据上传安全问题
开源日报 | 工业开源项目OGG 1.0；姐姐，你要和我一起配置火狐吗；苹果AI遥遥落后？Fedora 40
开放签电子签章：停止新增，优化体验，前进更进（五一假期前工作）
开源日报 | 中学生开源前端动画引擎；全球首个Llama3 8B中文版开源模型；联想电脑恐出局；Linus讽刺AI炒作
周排行
浏览器对同一域名进行请求的最大并发连接数
React Hook之自定义Hook
【转】MyBatis缓存机制
-Java-泛型
自动化测试常用脚本-发送邮件
LeetCode#859: Buddy Strings
java、Python处理字符串
第二篇の博客
Hadoop伪分布式环境安装
SQL Server进阶（十一）临时表、表变量
每日归档
更多
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)
2024-04-22(39)
2024-04-21(0)
2024-04-20(6)
2024-04-19(5)
2024-04-18(0)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022