5. RTP送信AAC

この記事で目的を達成する：vlcを使用してsdpファイルを開き、オーディオを聞く

1. RTPパッケージ

この部分は前の記事で紹介されましたが、それはあなたが前の記事を読んでいないことを恐れているからです。

1.1 RTPデータ構造

RTPパケット形式は以前に詳細に導入されています。説明については、RTSPプロトコルを参照してください

呼び出すRTPヘッダーの形式を確認する

           

各RTPパケットには、このようなRTPヘッダーとRTPペイロードが含まれています。便宜上、このヘッダーを構造体にカプセル化し、関数にパケットを送信します。見てみましょう

• RTPヘッド構造

  struct RtpHeader
  {
      /* byte 0 */
      uint8_t csrcLen:4;
      uint8_t extension:1;
      uint8_t padding:1;
      uint8_t version:2;
  
      /* byte 1 */
      uint8_t payloadType:7;
      uint8_t marker:1;
      
      /* bytes 2,3 */
      uint16_t seq;
      
      /* bytes 4-7 */
      uint32_t timestamp;
      
      /* bytes 8-11 */
      uint32_t ssrc;
  };

その中に:nはビット表現があり、この構造はRTPヘッドに1つずつ対応しています

• RTP送信機能

  RTPパッケージ

struct RtpPacket
{
    struct RtpHeader rtpHeader;
    uint8_t payload[0];
};

これは、カプセル化したRTPパケットです。RTPヘッダーとRTPペイロードが含まれuint8_t payload[0]ています。スペースを占有しません。rtpヘッダーの直後のアドレスを表します。

RTP送信機能

  /*
   * 函数功能：发送RTP包
   * 参数 socket：表示本机的udp套接字
   * 参数 ip：表示目的ip地址
   * 参数 port：表示目的的端口号
   * 参数 rtpPacket：表示rtp包
   * 参数 dataSize：表示rtp包中载荷的大小
   * 放回值：发送字节数
   */
  int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
  {
      struct sockaddr_in addr;
      int ret;
  
      addr.sin_family = AF_INET;
      addr.sin_port = htons(port);
      addr.sin_addr.s_addr = inet_addr(ip);
  
      rtpPacket->rtpHeader.seq = htons(rtpPacket->rtpHeader.seq);
      rtpPacket->rtpHeader.timestamp = htonl(rtpPacket->rtpHeader.timestamp);
      rtpPacket->rtpHeader.ssrc = htonl(rtpPacket->rtpHeader.ssrc);
  
      ret = sendto(socket, (void*)rtpPacket, dataSize+RTP_HEADER_SIZE, 0,
                      (struct sockaddr*)&addr, sizeof(addr));
  
      rtpPacket->rtpHeader.seq = ntohs(rtpPacket->rtpHeader.seq);
      rtpPacket->rtpHeader.timestamp = ntohl(rtpPacket->rtpHeader.timestamp);
      rtpPacket->rtpHeader.ssrc = ntohl(rtpPacket->rtpHeader.ssrc);
  
      return ret;
  }

 

この関数を注意深く見てください、あなたは理解できるはずです

パッケージを設定したら、この関数を呼び出して指定したターゲットを送信します

この関数はhtons、RTPがネットワークバイトオーダー（ビッグエンディアンモード）を使用するため、この関数の多くの場所で使用されているため、ホストバイトオーダーをネットワークバイトオーダーに変換する必要があります。

ここでは、ソースコードです、rtp.hそしてrtp.c二つの文書は、多くの場合、バックで話すために使用されていること

1.2ソースコード

rtp.h 

#ifndef _RTP_H_
#define _RTP_H_
#include <stdint.h>

#define RTP_VESION              2

#define RTP_PAYLOAD_TYPE_H264   96
#define RTP_PAYLOAD_TYPE_AAC    97

#define RTP_HEADER_SIZE         12
#define RTP_MAX_PKT_SIZE        1400

/*
 *
 *    0                   1                   2                   3
 *    7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0|7 6 5 4 3 2 1 0
 *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 *   |V=2|P|X|  CC   |M|     PT      |       sequence number         |
 *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 *   |                           timestamp                           |
 *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 *   |           synchronization source (SSRC) identifier            |
 *   +=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+=+
 *   |            contributing source (CSRC) identifiers             |
 *   :                             ....                              :
 *   +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
 *
 */
struct RtpHeader
{
    /* byte 0 */
    uint8_t csrcLen:4;
    uint8_t extension:1;
    uint8_t padding:1;
    uint8_t version:2;

    /* byte 1 */
    uint8_t payloadType:7;
    uint8_t marker:1;
    
    /* bytes 2,3 */
    uint16_t seq;
    
    /* bytes 4-7 */
    uint32_t timestamp;
    
    /* bytes 8-11 */
    uint32_t ssrc;
};

struct RtpPacket
{
    struct RtpHeader rtpHeader;
    uint8_t payload[0];
};

void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,
                    uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,
                   uint16_t seq, uint32_t timestamp, uint32_t ssrc);
int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize);

#endif //_RTP_H_

 rtp.c

#include <sys/types.h>
#include <sys/socket.h>
#include <arpa/inet.h>
#include <netinet/in.h>
#include <arpa/inet.h>

#include "rtp.h"

void rtpHeaderInit(struct RtpPacket* rtpPacket, uint8_t csrcLen, uint8_t extension,
                    uint8_t padding, uint8_t version, uint8_t payloadType, uint8_t marker,
                   uint16_t seq, uint32_t timestamp, uint32_t ssrc)
{
    rtpPacket->rtpHeader.csrcLen = csrcLen;
    rtpPacket->rtpHeader.extension = extension;
    rtpPacket->rtpHeader.padding = padding;
    rtpPacket->rtpHeader.version = version;
    rtpPacket->rtpHeader.payloadType =  payloadType;
    rtpPacket->rtpHeader.marker = marker;
    rtpPacket->rtpHeader.seq = seq;
    rtpPacket->rtpHeader.timestamp = timestamp;
    rtpPacket->rtpHeader.ssrc = ssrc;
}

int rtpSendPacket(int socket, char* ip, int16_t port, struct RtpPacket* rtpPacket, uint32_t dataSize)
{
    struct sockaddr_in addr;
    int ret;

    addr.sin_family = AF_INET;
    addr.sin_port = htons(port);
    addr.sin_addr.s_addr = inet_addr(ip);

    rtpPacket->rtpHeader.seq = htons(rtpPacket->rtpHeader.seq);
    rtpPacket->rtpHeader.timestamp = htonl(rtpPacket->rtpHeader.timestamp);
    rtpPacket->rtpHeader.ssrc = htonl(rtpPacket->rtpHeader.ssrc);

    ret = sendto(socket, (void*)rtpPacket, dataSize+RTP_HEADER_SIZE, 0,
                    (struct sockaddr*)&addr, sizeof(addr));

    rtpPacket->rtpHeader.seq = ntohs(rtpPacket->rtpHeader.seq);
    rtpPacket->rtpHeader.timestamp = ntohl(rtpPacket->rtpHeader.timestamp);
    rtpPacket->rtpHeader.ssrc = ntohl(rtpPacket->rtpHeader.ssrc);

    return ret;
}

 

2. AAC RTPパッケージ

2.1 AACフォーマット

AACオーディオファイルはADTSフレームの1つのフレームで構成され、各ADTSフレームには、次に示すようにADTSヘッダーとAACデータが含まれています。

ADTSヘッダーのサイズは通常で7个字节、このデータフレームの情報が含まれています。内容は次のとおりです 

 

 

各フィールドの意味は次のとおりです

同期ワード

常に0xFFFで、同期に使用されるADTSフレームの始まりを表します。

ID

MPEGバージョン：0はMPEG-4、1はMPEG-2

層

常に： '00'

protection_absent

警告、CRCがない場合は1、CRCがある場合は0に設定

プロフィール

01 Low Complexity（LC）– AAC LCなど、使用するAACのレベルを示します

s ampling_frequency_index

サンプリングレートの添え字

aac_frame_length

ADTSフレームの長さには、ADTSヘッダーとAAC元のストリームが含まれます

adts_buffer_fullness

0x7FFは、コードレートが可変であることを意味します

number_of_raw_data_blocks_in_frame

ADTSフレームにnumber_of_raw_data_blocks_in_frame + 1 AAC元のフレームがあることを示します

ここで、ADTSヘッダーは通常7バイトであり、ヘッダーにはaac_frame_lengthが含まれ、ADTSフレームのサイズを示すことに注意してください。
 

2.2 AAC RTPパッケージ方法

AACのRTPパッケージ方法はH.264ほどリッチではありません。私が知っている方法は1つだけです。主な理由は、AACの1フレームのデータサイズは数百バイトであり、H.264ほど少なくないためです。数千ものフェスティバル

AACのRTPパッケージ方法は、ADTSヘッダーからADTSフレームを取り出し、AACデータを取り出し、データの各フレームをRTPパケットにカプセル化することです。

AACデータはRTPペイロードに直接コピーされないことに注意してください。AACはRTPパケットにカプセル化されます。次の図に示すように、RTPペイロードの最初の4バイトには特別な意味があり、次にAACデータがあります。

RTPペイロードの1バイトは0x00で、2番目のバイトは0x10です

3番目のバイトと4番目のバイトはAACデータのサイズを保存し、最大13ビットしか保存できません。3番目のバイトはデータサイズの上位8ビットを保存し、4番目の5ビットは低いデータサイズを保存します5桁

2.3 AAC RTPパケットのタイムスタンプ計算

オーディオのサンプリングレートが44100、つまり1秒あたり44100サンプルであるとします。

AACは通常、1024サンプルを1フレームにエンコードするため、1秒あたり44100/1024 = 43フレームになります。

RTPパケットによって送信されるデータの各フレームの時間増分は44100/43 = 1025です。

データの各フレームの時間間隔は1000/43 = 23msです

2.4ソースコード

rtpが送信するaacファイルのソースコードを以下に示します。プログラムは、aacファイルから各フレームのAACデータを抽出し、RTPをパッケージ化して宛先に送信します。

AACデータを取得する方法
この例では、最初に7バイトのADTSヘッダーを読み取り、次にフレームサイズを取得してから、AACデータを読み取ります。

rtp_aac.c

#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <sys/stat.h>
#include <fcntl.h>
#include <unistd.h>
#include <string.h>

#include "rtp.h"

#define AAC_FILE    "test.aac"
#define CLIENT_PORT 9832

struct AdtsHeader
{
    unsigned int syncword;  //12 bit 同步字 '1111 1111 1111'，说明一个ADTS帧的开始
    unsigned int id;        //1 bit MPEG 标示符， 0 for MPEG-4，1 for MPEG-2
    unsigned int layer;     //2 bit 总是'00'
    unsigned int protectionAbsent;  //1 bit 1表示没有crc，0表示有crc
    unsigned int profile;           //1 bit 表示使用哪个级别的AAC
    unsigned int samplingFreqIndex; //4 bit 表示使用的采样频率
    unsigned int privateBit;        //1 bit
    unsigned int channelCfg; //3 bit 表示声道数
    unsigned int originalCopy;         //1 bit 
    unsigned int home;                  //1 bit 

    /*下面的为改变的参数即每一帧都不同*/
    unsigned int copyrightIdentificationBit;   //1 bit
    unsigned int copyrightIdentificationStart; //1 bit
    unsigned int aacFrameLength;               //13 bit 一个ADTS帧的长度包括ADTS头和AAC原始流
    unsigned int adtsBufferFullness;           //11 bit 0x7FF 说明是码率可变的码流

    /* number_of_raw_data_blocks_in_frame
     * 表示ADTS帧中有number_of_raw_data_blocks_in_frame + 1个AAC原始帧
     * 所以说number_of_raw_data_blocks_in_frame == 0 
     * 表示说ADTS帧中有一个AAC数据块并不是说没有。(一个AAC原始帧包含一段时间内1024个采样及相关数据)
     */
    unsigned int numberOfRawDataBlockInFrame; //2 bit
};

static int parseAdtsHeader(uint8_t* in, struct AdtsHeader* res)
{
    static int frame_number = 0;
    memset(res,0,sizeof(*res));

    if ((in[0] == 0xFF)&&((in[1] & 0xF0) == 0xF0))
    {
        res->id = ((unsigned int) in[1] & 0x08) >> 3;
        printf("adts:id  %d\n", res->id);
        res->layer = ((unsigned int) in[1] & 0x06) >> 1;
        printf( "adts:layer  %d\n", res->layer);
        res->protectionAbsent = (unsigned int) in[1] & 0x01;
        printf( "adts:protection_absent  %d\n", res->protectionAbsent);
        res->profile = ((unsigned int) in[2] & 0xc0) >> 6;
        printf( "adts:profile  %d\n", res->profile);
        res->samplingFreqIndex = ((unsigned int) in[2] & 0x3c) >> 2;
        printf( "adts:sf_index  %d\n", res->samplingFreqIndex);
        res->privateBit = ((unsigned int) in[2] & 0x02) >> 1;
        printf( "adts:pritvate_bit  %d\n", res->privateBit);
        res->channelCfg = ((((unsigned int) in[2] & 0x01) << 2) | (((unsigned int) in[3] & 0xc0) >> 6));
        printf( "adts:channel_configuration  %d\n", res->channelCfg);
        res->originalCopy = ((unsigned int) in[3] & 0x20) >> 5;
        printf( "adts:original  %d\n", res->originalCopy);
        res->home = ((unsigned int) in[3] & 0x10) >> 4;
        printf( "adts:home  %d\n", res->home);
        res->copyrightIdentificationBit = ((unsigned int) in[3] & 0x08) >> 3;
        printf( "adts:copyright_identification_bit  %d\n", res->copyrightIdentificationBit);
        res->copyrightIdentificationStart = (unsigned int) in[3] & 0x04 >> 2;
        printf( "adts:copyright_identification_start  %d\n", res->copyrightIdentificationStart);
        res->aacFrameLength = (((((unsigned int) in[3]) & 0x03) << 11) |
                                (((unsigned int)in[4] & 0xFF) << 3) |
                                    ((unsigned int)in[5] & 0xE0) >> 5) ;
        printf( "adts:aac_frame_length  %d\n", res->aacFrameLength);
        res->adtsBufferFullness = (((unsigned int) in[5] & 0x1f) << 6 |
                                        ((unsigned int) in[6] & 0xfc) >> 2);
        printf( "adts:adts_buffer_fullness  %d\n", res->adtsBufferFullness);
        res->numberOfRawDataBlockInFrame = ((unsigned int) in[6] & 0x03);
        printf( "adts:no_raw_data_blocks_in_frame  %d\n", res->numberOfRawDataBlockInFrame);

        return 0;
    }
    else
    {
        printf("failed to parse adts header\n");
        return -1;
    }
}

static int createUdpSocket()
{
    int fd;
    int on = 1;

    fd = socket(AF_INET, SOCK_DGRAM, 0);
    if(fd < 0)
        return -1;

    setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (const char*)&on, sizeof(on));

    return fd;
}

static int rtpSendAACFrame(int socket, char* ip, int16_t port,
                            struct RtpPacket* rtpPacket, uint8_t* frame, uint32_t frameSize)
{
    int ret;

    rtpPacket->payload[0] = 0x00;
    rtpPacket->payload[1] = 0x10;
    rtpPacket->payload[2] = (frameSize & 0x1FE0) >> 5; //高8位
    rtpPacket->payload[3] = (frameSize & 0x1F) << 3; //低5位

    memcpy(rtpPacket->payload+4, frame, frameSize);

    ret = rtpSendPacket(socket, ip, port, rtpPacket, frameSize+4);
    if(ret < 0)
    {
        printf("failed to send rtp packet\n");
        return -1;
    }

    rtpPacket->rtpHeader.seq++;

    /*
     * 如果采样频率是44100
     * 一般AAC每个1024个采样为一帧
     * 所以一秒就有 44100 / 1024 = 43帧
     * 时间增量就是 44100 / 43 = 1025
     * 一帧的时间为 1 / 43 = 23ms
     */
    rtpPacket->rtpHeader.timestamp += 1025;

    return 0;
}

int main(int argc, char* argv[])
{
    int fd;
    int ret;
    int socket;
    uint8_t* frame;
    struct AdtsHeader adtsHeader;
    struct RtpPacket* rtpPacket;

    if(argc != 2)
    {
        printf("Usage: %s <dest ip>\n", argv[0]);
        return -1;
    }

    fd = open(AAC_FILE, O_RDONLY);
    if(fd < 0)
    {
        printf("failed to open %s\n", AAC_FILE);
        return -1;
    }    

    socket = createUdpSocket();
    if(socket < 0)
    {
        printf("failed to create udp socket\n");
        return -1;
    }

    frame = (uint8_t*)malloc(5000);
    rtpPacket = malloc(5000);

    rtpHeaderInit(rtpPacket, 0, 0, 0, RTP_VESION, RTP_PAYLOAD_TYPE_AAC, 1, 0, 0, 0x32411);

    while(1)
    {
        printf("--------------------------------\n");

        ret = read(fd, frame, 7);
        if(ret <= 0)
        {
            lseek(fd, 0, SEEK_SET);
            continue;            
        }

        if(parseAdtsHeader(frame, &adtsHeader) < 0)
        {
            printf("parse err\n");
            break;
        }

        ret = read(fd, frame, adtsHeader.aacFrameLength-7);
        if(ret < 0)
        {
            printf("read err\n");
            break;
        }

        rtpSendAACFrame(socket, argv[1], CLIENT_PORT,
                        rtpPacket, frame, adtsHeader.aacFrameLength-7);

        usleep(23000);
    }

    close(fd);
    close(socket);

    free(frame);
    free(rtpPacket);

    return 0;
}

3. AAC sdpメディアの説明

AACのメディア記述情報は次のとおりです

m=audio 9832 RTP/AVP 97
a=rtpmap:97 mpeg4-generic/44100/2
a=fmtp:97 SizeLength=13;
c=IN IP4 127.0.0.1

** m = audio 9832 RTP / AVP 97 **

フォーマットはm = <メディアタイプ> <ポート番号> <トランスポートプロトコル> <メディアフォーマット>
メディアタイプ：オーディオ、これはオーディオストリームであることを意味します

ポート番号：9832、UDP送信の宛先ポートが9832であることを示します

伝送プロトコル：RTP / AVP、つまりRTP OVER UDPを意味し、UDPを介してRTPパケットを送信します

メディア形式：ペイロードタイプを示します。通常、97はAACを示すために使用されます

a = rtpmap：97 mpeg4-generic / 44100/2

形式はa = rtpmap：<メディア形式> <エンコード形式> / <クロック周波数> / [チャネル]

mpeg4-genericはエンコーディング、44100はクロック周波数、2はデュアルチャネルを意味します

c = IN IP4 127.0.0.1

IN：インターネットを示します

IP4：IPV4を示します

127.0.0.1：UDPによって送信された宛先アドレスが127.0.0.1であることを示します

特記事項：このsdpファイルに記述されているudpによって送信される宛先IPは127.0.0.1であり、宛先ポートは9832です

4、テスト

上記のソースはrtp.c、rtp.h、rtp_h264.c保存、SDPファイルは次のように保存されますrtp_aac.sdp

注意：该程序默认打开的是test.aac，如果你没有音频源，可以从RtspServer的example目录下获取

编译运行

# gcc rtp.c rtp_aac.c
# ./a.out 127.0.0.1

这里的ip地址必须跟sdp里描述的目标地址一致

使用vlc打开sdp文件

# vlc rtp_aac.sdp

到这里就可以听到音频了，下一篇文章讲解如何写一个发送AAC的RTSP服务器