将H264码流打包成RTP包

原文:https://blog.csdn.net/chenchong_219/article/details/37996161

H264码流打包成RTP包的代码如下:

#include <stdio.h>
#include <stdlib.h>
#include <conio.h>
#include <string.h>
 
#include <winsock2.h>
#include <winsock2.h>
 
//#include "mem.h"
 
 
#define PACKET_BUFFER_END            (unsigned int)0x00000000
 
 
#define MAX_RTP_PKT_LENGTH     1400
 
#define DEST_IP                "180.101.59.185"
#define DEST_PORT            1234
 
#define H264                    96
 
typedef struct 
{
	/**//* byte 0 */
	unsigned char csrc_len:4;        /**//* expect 0 */
	unsigned char extension:1;        /**//* expect 1, see RTP_OP below */
	unsigned char padding:1;        /**//* expect 0 */
	unsigned char version:2;        /**//* expect 2 */
	/**//* byte 1 */
	unsigned char payload:7;        /**//* RTP_PAYLOAD_RTSP */
	unsigned char marker:1;        /**//* expect 1 */
	/**//* bytes 2, 3 */
	unsigned short seq_no;            
	/**//* bytes 4-7 */
	unsigned  long timestamp;        
	/**//* bytes 8-11 */
	unsigned long ssrc;            /**//* stream number is used here. */
} RTP_FIXED_HEADER;
 
typedef struct {
	//byte 0
	unsigned char TYPE:5;
	unsigned char NRI:2;
	unsigned char F:1;    
 
} NALU_HEADER; /**//* 1 BYTES */
 
typedef struct {
	//byte 0
	unsigned char TYPE:5;
	unsigned char NRI:2; 
	unsigned char F:1;    
 
 
} FU_INDICATOR; /**//* 1 BYTES */
 
typedef struct {
	//byte 0
	unsigned char TYPE:5;
	unsigned char R:1;
	unsigned char E:1;
	unsigned char S:1;    
} FU_HEADER; /**//* 1 BYTES */
 
BOOL InitWinsock();
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <memory.h>
#include "h264.h"
 
#pragma comment(lib,"ws2_32.lib")
 
typedef struct
{
	int startcodeprefix_len;      //! 4 for parameter sets and first slice in picture, 3 for everything else (suggested)
	unsigned len;                 //! Length of the NAL unit (Excluding the start code, which does not belong to the NALU)
	unsigned max_size;            //! Nal Unit Buffer size
	int forbidden_bit;            //! should be always FALSE
	int nal_reference_idc;        //! NALU_PRIORITY_xxxx
	int nal_unit_type;            //! NALU_TYPE_xxxx    
	char *buf;                    //! contains the first byte followed by the EBSP
	unsigned short lost_packets;  //! true, if packet loss is detected
} NALU_t;
 
FILE *bits = NULL;                //!< the bit stream file
static int FindStartCode2 (unsigned char *Buf);//查找开始字符0x000001
static int FindStartCode3 (unsigned char *Buf);//查找开始字符0x00000001
//static bool flag = true;
static int info2=0, info3=0;
RTP_FIXED_HEADER        *rtp_hdr;
 
NALU_HEADER		*nalu_hdr;
FU_INDICATOR	*fu_ind;
FU_HEADER		*fu_hdr;
 
BOOL InitWinsock()
{
	int Error;
	WORD VersionRequested;
	WSADATA WsaData;
	VersionRequested=MAKEWORD(2,2);
	Error=WSAStartup(VersionRequested,&WsaData); //启动WinSock2
	if(Error!=0)  
	{
		return FALSE;
	}
	else
	{
		if(LOBYTE(WsaData.wVersion)!=2||HIBYTE(WsaData.wHighVersion)!=2)
		{
			WSACleanup();
			return FALSE;
		}
 
	}
	return TRUE;
}
 
//为NALU_t结构体分配内存空间
NALU_t *AllocNALU(int buffersize)
{
	NALU_t *n;
 
	if ((n = (NALU_t*)calloc (1, sizeof (NALU_t))) == NULL)
	{
		printf("AllocNALU: n");
		exit(0);
	}
 
	n->max_size=buffersize;
 
	if ((n->buf = (char*)calloc (buffersize, sizeof (char))) == NULL)
	{
		free (n);
		printf ("AllocNALU: n->buf");
		exit(0);
	}
 
	return n;
}
//释放
void FreeNALU(NALU_t *n)
{
	if (n)
	{
		if (n->buf)
		{
			free(n->buf);
			n->buf=NULL;
		}
		free (n);
	}
}
 
void OpenBitstreamFile (char *fn)
{
	if (NULL == (bits=fopen(fn, "rb")))
	{
		printf("open file error\n");
		exit(0);
	}
}
//这个函数输入为一个NAL结构体,主要功能为得到一个完整的NALU并保存在NALU_t的buf中,获取他的长度,填充F,IDC,TYPE位。
//并且返回两个开始字符之间间隔的字节数,即包含有前缀的NALU的长度
int GetAnnexbNALU (NALU_t *nalu)
{
	int pos = 0;
	int StartCodeFound, rewind;
	unsigned char *Buf;
 
	if ((Buf = (unsigned char*)calloc (nalu->max_size , sizeof(char))) == NULL) 
	{
       printf ("GetAnnexbNALU: Could not allocate Buf memory\n");
	}
		
 
	nalu->startcodeprefix_len=3;//初始化码流序列的开始字符为3个字节
 
	if (3 != fread (Buf, 1, 3, bits))//从码流中读3个字节
	{
		free(Buf);
		return 0;
	}
	info2 = FindStartCode2 (Buf);//判断是否为0x000001 
	if(info2 != 1) 
	{
		//如果不是,再读一个字节
		if(1 != fread(Buf+3, 1, 1, bits))//读一个字节
		{
			free(Buf);
			return 0;
		}
		info3 = FindStartCode3 (Buf);//判断是否为0x00000001
		if (info3 != 1)//如果不是,返回-1
		{ 
			free(Buf);
			return -1;
		}
		else 
		{
			//如果是0x00000001,得到开始前缀为4个字节
			pos = 4;
			nalu->startcodeprefix_len = 4;
		}
	}
 
	else
	{
		//如果是0x000001,得到开始前缀为3个字节
		nalu->startcodeprefix_len = 3;
		pos = 3;
	}
 
	//查找下一个开始字符的标志位
	StartCodeFound = 0;
	info2 = 0;
	info3 = 0;
 
	while (!StartCodeFound)
	{
		if (feof (bits))//判断是否到了文件尾,文件结束,则返回非0值,否则返回0
		{
			nalu->len = (pos-1)-nalu->startcodeprefix_len;  //NALU单元的长度。
			memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);     
			nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit
			nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit
			nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit
			free(Buf);
			return pos-1;
		}
		Buf[pos++] = fgetc (bits);//读一个字节到BUF中
		info3 = FindStartCode3(&Buf[pos-4]);//判断是否为0x00000001
		if(info3 != 1)
		{
           info2 = FindStartCode2(&Buf[pos-3]);//判断是否为0x000001
		}
			
		StartCodeFound = (info2 == 1 || info3 == 1);
	}
 
	// Here, we have found another start code (and read length of startcode bytes more than we should
	// have.  Hence, go back in the file
	rewind = (info3 == 1)? -4 : -3;
 
	if (0 != fseek (bits, rewind, SEEK_CUR))//把文件指针指向前一个NALU的末尾,在当前文件指针位置上偏移 rewind。
	{
		free(Buf);
		printf("GetAnnexbNALU: Cannot fseek in the bit stream file");
	}
 
	// Here the Start code, the complete NALU, and the next start code is in the Buf.  
	// The size of Buf is pos, pos+rewind are the number of bytes excluding the next
	// start code, and (pos+rewind)-startcodeprefix_len is the size of the NALU excluding the start code
 
	nalu->len = (pos+rewind)-nalu->startcodeprefix_len;    //NALU长度,不包括头部。
	memcpy (nalu->buf, &Buf[nalu->startcodeprefix_len], nalu->len);//拷贝一个完整NALU,不拷贝起始前缀0x000001或0x00000001
	nalu->forbidden_bit = nalu->buf[0] & 0x80; //1 bit
	nalu->nal_reference_idc = nalu->buf[0] & 0x60; // 2 bit
	nalu->nal_unit_type = (nalu->buf[0]) & 0x1f;// 5 bit
	free(Buf);
 
	return (pos+rewind);//返回两个开始字符之间间隔的字节数,即包含有前缀的NALU的长度
}
//输出NALU长度和TYPE
void dump(NALU_t *n)
{
	if (!n)return;
	//printf("a new nal:");
	printf(" len: %d  ", n->len);
	printf("nal_unit_type: %x\n", n->nal_unit_type);
}
 
int main(int argc, char* argv[])
{
	OpenBitstreamFile("./test2.264");//打开264文件,并将文件指针赋给bits,在此修改文件名实现打开别的264文件。
	NALU_t *n;
	char* nalu_payload;  
	char sendbuf[1500];
 
	unsigned short seq_num =0;
	int	bytes=0;
	InitWinsock(); //初始化套接字库
	SOCKET    socket1;
	struct sockaddr_in server;
	int len =sizeof(server);
	float framerate=15;
	unsigned int timestamp_increse=0,ts_current=0;
	timestamp_increse=(unsigned int)(90000.0 / framerate); //+0.5);  //时间戳,H264的视频设置成90000
 
	server.sin_family=AF_INET;
	server.sin_port=htons(DEST_PORT);          
	server.sin_addr.s_addr=inet_addr(DEST_IP); 
	socket1=socket(AF_INET,SOCK_DGRAM,0);
	connect(socket1, (const sockaddr *)&server, len) ;//申请UDP套接字
	n = AllocNALU(8000000);//为结构体nalu_t及其成员buf分配空间。返回值为指向nalu_t存储空间的指针
 
	while(!feof(bits)) 
	{
		GetAnnexbNALU(n);//每执行一次,文件的指针指向本次找到的NALU的末尾,下一个位置即为下个NALU的起始码0x000001
		dump(n);//输出NALU长度和TYPE
 
	//(1)一个NALU就是一个RTP包的情况: RTP_FIXED_HEADER(12字节)  + NALU_HEADER(1字节) + EBPS
        //(2)一个NALU分成多个RTP包的情况: RTP_FIXED_HEADER (12字节) + FU_INDICATOR (1字节)+  FU_HEADER(1字节) + EBPS(1400字节)
 
		memset(sendbuf,0,1500);//清空sendbuf;此时会将上次的时间戳清空,因此需要ts_current来保存上次的时间戳值
		//rtp固定包头,为12字节,该句将sendbuf[0]的地址赋给rtp_hdr,以后对rtp_hdr的写入操作将直接写入sendbuf。
		rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0]; 
		//设置RTP HEADER,
		rtp_hdr->payload     = H264;  //负载类型号,
		rtp_hdr->version     = 2;  //版本号,此版本固定为2
		rtp_hdr->marker    = 0;   //标志位,由具体协议规定其值。
		rtp_hdr->ssrc        = htonl(10);    //随机指定为10,并且在本RTP会话中全局唯一
 
		//	当一个NALU小于1400字节的时候,采用一个单RTP包发送
		if(n->len <= 1400)
		{	
			//设置rtp M 位;
			rtp_hdr->marker = 1;
			rtp_hdr->seq_no  = htons(seq_num ++); //序列号,每发送一个RTP包增1,htons,将主机字节序转成网络字节序。
			//设置NALU HEADER,并将这个HEADER填入sendbuf[12]
			nalu_hdr =(NALU_HEADER*)&sendbuf[12]; //将sendbuf[12]的地址赋给nalu_hdr,之后对nalu_hdr的写入就将写入sendbuf中;
			nalu_hdr->F = n->forbidden_bit;
			nalu_hdr->NRI=n->nal_reference_idc>>5;//有效数据在n->nal_reference_idc的第6,7位,需要右移5位才能将其值赋给nalu_hdr->NRI。
			nalu_hdr->TYPE=n->nal_unit_type;
 
			nalu_payload=&sendbuf[13];//同理将sendbuf[13]赋给nalu_payload
			memcpy(nalu_payload,n->buf+1,n->len-1);//去掉nalu头的nalu剩余内容写入sendbuf[13]开始的字符串。
 
			ts_current = ts_current + timestamp_increse;
			rtp_hdr->timestamp=htonl(ts_current);
			bytes=n->len + 12 ;	//获得sendbuf的长度,为nalu的长度(包含NALU头但除去起始前缀)加上rtp_header的固定长度12字节
			send(socket1, sendbuf, bytes, 0);//发送rtp包
			//	Sleep(100);
 
		}
 
		else if(n->len > 1400)  //这里就要分成多个RTP包发送了。
		{
			//得到该nalu需要用多少长度为1400字节的RTP包来发送
			int k = 0, last = 0;
			k = n->len / 1400;//需要k个1400字节的RTP包,这里为什么不加1呢?因为是从0开始计数的。
			last = n->len % 1400;//最后一个RTP包的需要装载的字节数
			int t = 0;//用于指示当前发送的是第几个分片RTP包
			ts_current = ts_current + timestamp_increse;
			rtp_hdr->timestamp = htonl(ts_current);
			while(t <= k)
			{
				rtp_hdr->seq_no = htons(seq_num++); //序列号,每发送一个RTP包增1
				if(!t)//发送一个需要分片的NALU的第一个分片,置FU HEADER的S位,t = 0时进入此逻辑。
				{
					//设置rtp M 位;
					rtp_hdr->marker = 0;  //最后一个NALU时,该值设置成1,其他都设置成0。
					//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
					fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind,之后对fu_ind的写入就将写入sendbuf中;
					fu_ind->F = n->forbidden_bit;
					fu_ind->NRI = n->nal_reference_idc >> 5;
					fu_ind->TYPE = 28;  //FU-A类型。
 
					//设置FU HEADER,并将这个HEADER填入sendbuf[13]
					fu_hdr =(FU_HEADER*)&sendbuf[13];
					fu_hdr->E = 0;
					fu_hdr->R = 0;
					fu_hdr->S = 1;
					fu_hdr->TYPE = n->nal_unit_type;
 
					nalu_payload = &sendbuf[14];//同理将sendbuf[14]赋给nalu_payload
					memcpy(nalu_payload,n->buf+1,1400);//去掉NALU头,每次拷贝1400个字节。
 
					bytes = 1400 + 14;//获得sendbuf的长度,为nalu的长度(除去起始前缀和NALU头)加上rtp_header,fu_ind,fu_hdr的固定长度                                                            14字节
					send( socket1, sendbuf, bytes, 0 );//发送rtp包
					t++;
 
				}
				//发送一个需要分片的NALU的非第一个分片,清零FU HEADER的S位,如果该分片是该NALU的最后一个分片,置FU HEADER的E位
				else if(k == t)//发送的是最后一个分片,注意最后一个分片的长度可能超过1400字节(当 l> 1386时)。
				{
 
					//设置rtp M 位;当前传输的是最后一个分片时该位置1
					rtp_hdr->marker=1;
					//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
					fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind,之后对fu_ind的写入就将写入sendbuf中;
					fu_ind->F=n->forbidden_bit;
					fu_ind->NRI=n->nal_reference_idc>>5;
					fu_ind->TYPE=28;
 
					//设置FU HEADER,并将这个HEADER填入sendbuf[13]
					fu_hdr = (FU_HEADER*)&sendbuf[13];
					fu_hdr->R = 0;
					fu_hdr->S = 0;
					fu_hdr->TYPE = n->nal_unit_type;
					fu_hdr->E = 1;
 
					nalu_payload = &sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payload
					memcpy(nalu_payload,n->buf + t*1400 + 1,last-1);//将nalu最后剩余的l-1(去掉了一个字节的NALU头)字节内容写入sendbuf[14]开始的字符串。
					bytes = last - 1 + 14;		//获得sendbuf的长度,为剩余nalu的长度l-1加上rtp_header,FU_INDICATOR,FU_HEADER三个包头共14字节
					send(socket1, sendbuf, bytes, 0);//发送rtp包
					t++;
					//Sleep(100);
				}
				//既不是第一个分片,也不是最后一个分片的处理。
				else if(t < k && 0 != t)
				{
					//设置rtp M 位;
					rtp_hdr->marker = 0;
					//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
					fu_ind = (FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind,之后对fu_ind的写入就将写入sendbuf中;
					fu_ind->F = n->forbidden_bit;
					fu_ind->NRI = n->nal_reference_idc>>5;
					fu_ind->TYPE = 28;
 
					//设置FU HEADER,并将这个HEADER填入sendbuf[13]
					fu_hdr =(FU_HEADER*)&sendbuf[13];
	
					fu_hdr->R = 0;
					fu_hdr->S = 0;
					fu_hdr->E = 0;
					fu_hdr->TYPE = n->nal_unit_type;
 
					nalu_payload=&sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payload
					memcpy(nalu_payload, n->buf + t * 1400 + 1,1400);//去掉起始前缀的nalu剩余内容写入sendbuf[14]开始的字符串。
					bytes=1400 + 14;						//获得sendbuf的长度,为nalu的长度(除去原NALU头)加上rtp_header,fu_ind,fu_hdr的固定长度14字节
					send(socket1, sendbuf, bytes, 0);//发送rtp包
					t++;
				}
			}
		}
	}
	FreeNALU(n);
	return 0;
}
 
static int FindStartCode2 (unsigned char *Buf)
{
	if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=1) return 0; //判断是否为0x000001,如果是返回1
	else return 1;
}
 
static int FindStartCode3 (unsigned char *Buf)
{
	if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=0 || Buf[3] !=1) return 0;//判断是否为0x00000001,如果是返回1
	else return 1;
}

 RTP header格式,见下图:

各个字段代表含义如下:

V:版本号,一般为2;
P:填充字段标识;
X:扩展头标识;

CC:CSRC计数,4比特

M:标志 1bit,在传输h264时表示h264 nalu的最后一包
PT:负载类型 7 bits, H264类型为96,荷载类型的赋值或者通过profile或者通过动态方式
SN:序列号16 bits
Timestamp:时间戳32bits,如果为视频的话,应该设置为1/9000,音频为1/8000,如果NAL单元没有他自己的时间属性(即,parameter set and SEI NAL units),RTP时戳设置成访问单元主编码图像的RTP时戳。
SSRC:32bits,用以识别同步源。
CSRC列表:0到15项,每项32比特,CSRC列表识别在此包中负载的所有贡献源。识别符的数目在CC域中给定。若有贡献源多于15个,仅识别15个。CSRC识别符由混合器插入,并列出所有贡献源的SSRC识别符。例如语音包,混合产生新包的所有源的SSRC标识符都被列出,这样可以在接收端正确指示参与者。    

RTP payload格式:

        H.264Payload 格式定义了三种不同的基本的负载(Payload)结构,接收端可能通过RTP Payload的第一个字节来识别它们。这一个字节类似NALU 头的格式,而这个头结构的NAL 单元类型字段则指出了代表的是哪一种结构,这个字节的结构如下:

F        1比特
NRI      2比特
Type     5比特

可以看出它和H.264 的NALU 头结构是一样的。

字段Type:这个RTP payload 中 NAL 单元的类型。 这个字段和 H.264 中类型字段的区别是,当type的值为24-31表示这是一个特别格式的 NAL 单元,而H.264中,只取1-23是有效的值。

关于NALU使用RTP包进行发送可能的类型有:

1. 单一 NAL 单元模式
       即一个 RTP 包仅由一个完整的 NALU 组成。这种情况下 RTP NAL 头类型字段和原始的H.264的NALU 头类型字段是一样的。
对于 NALU的长度小于 MTU 大小的包,一般采用单一 NAL 单元模式。对于一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成,其中 Start Code 用于标示这是一个NALU 单元的开始,必须是"00 00 00 01" 或"00 00 01",
NALU 头仅一个字节,其后都是 NALU 单元内容。打包时去除 "00 00 01" 或"00 00 00 01" 的开始码,把其他数据封包的 RTP 包即可,有如下例子:
[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]
封装成 RTP 包将如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]
(在这里要说明的是,如果客户端是通用的播放器,比如VLC或者JM的话需要将前导码去掉,但是如果使用的是ffmpeg在客户端解码的话,发送前不需要去掉前导码,去掉之后可能会导致ffmpeg解码错误)。

2. 组合封包模式
       即可能是由多个 NAL 单元组成一个 RTP 包。分别有4种组合方式:STAP-A,STAP-B, MTAP16, MTAP24。那么这里的类型值分别是 24,25,26 以及 27。

3. 分片封包模式
       用于把一个 NALU单元封装成多个 RTP 包。存在两种类型 FU-A 和 FU-B。类型值分别是 28 和 29。
而当 NALU 的长度超过 MTU 时,就必须对 NALU 单元进行分片封包。 也称为Fragmentation Units(FUs)。将NALU拆分成小于MTU的数据包进行发送,如果使用的是VLC等网络播放器的话,需要设置FU header,如下图所示:

如果使用的是ffmpeg自行进行数据包接收与解码,则完全不必写FU header。

其实在后面的实际操作中会发现,SPS、PPS都是非常小,不到一百个字节,都是单个的NAl进行打包发送,而I帧一般都比较大,会采用分包发送,一般也是FU-A方式分片,其中MTU一般是1500个字节。FFmpeg中都有现成的源程序可以参考的。

 对于H264的I帧、P帧等主要是FU(分片)发送,那么FU到底是怎样一个过程呢。

     相同NAL单元的分片必须使用递增的RTP序号连续顺序发送(第一和最后分片之间没有其他的RTP包)。相似, NAL单元必须按照RTP顺序号的顺序装配。FUs不可以嵌套。即 一个FU 不可以包含另一个FU。运送FU的RTP时戳被设置成分片NALU的NALU的时刻。

      FU-A的RTP荷载格式:

        0                                              1                                             2                                            3
        0   1   2  3   4  5  6   7  8   9   0  1  2  3  4   5   6   7   8  9   0  1   2  3  4   5  6   7   8  9  0   1
      +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
      |       FU indicator          |      FU header             |                                                                            |
      +--+--+--+--+--+--+--+--+--+--+--+-+--+--+--+--+                                                                             |
      |                                                                                                                                                         |
      |                                                             FU payload                                                                        |
      |                                                                                                                                                         |
      |                                                                             +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
      |                                                                                :...OPTIONAL RTP padding                       |
     +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+

FU indicator :  1字节的分片单元指示

      +---------------+
       |0|1|2|3|4|5|6|7|
      +-+-+-+-+-+-+-+
      |F|NRI|  Type   |
      +---------------+

NRI: 2 bits, 00值指示NAL单元的内容不用于重建影响图像的帧间图像预测.这样的NAL单元可以被丢弃而不用冒影响图像完整性的风险。大于00的值指示NAL单元的解码要求维护引用图像的完整性。

注意:任何非零的NRI在H.264 解码器的处理是相同的。因此,接收者在传送NAL单元给解码器时不必操作NRI的值。NRI值必须根据分片NAL单元的NRI值设置。H.264编码器必须根据H.264规范设置NRI值。

当nal_unit_type 范围的是1到12。特别是,H.264规范要求对于nal_unit_type为6,9,10,11,12的NAL单元的NRI的值应该为0。

对于nal_unit_type等于7,8 (指示顺序参数集或图像参数集)的NAL单元,H.264编码器应该设置NRI为11 (二进制格式)。

对于nal_unit_type等于5的主编码图像的编码片NAL单元(指示编码片属于一个IDR图像), H.264编码器应设置NRI为11。

FU header:  1字节的分片单元头
      +---------------+
      |0|1|2|3|4|5|6|7|
     +-+-+-+-+-+-+-+
      |S|E|R|  Type   |
      +---------------+

S: (1 bit)
   当设置成1,开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始,开始位设为0。
E: (1 bit)
   当设置成1,结束位指示分片NAL单元的结束,即荷载的最后字节也是分片NAL单元的最后一个字节。
   当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置为0。
R: (1 bit)
    保留位必须设置为0,接收者必须忽略该位。
Type: (5 bit)
       NAL单元荷载类型定义。

FU payload : 分片单元荷载。

关于时间戳,需要注意的是h264的采样率为90000HZ,因此时间戳的单位为1(秒)/90000,因此如果当前视频帧率为25fps,那时间戳间隔或者说增量应该为3600,怎么算出来的呢,每帧是1/25秒,那么这1/25秒有多少个时间戳单元呢,除以1/90000即可。而如果帧率为30fps,则增量为3000,以此类推。

1)第一个FU-A包的FU indicator:
F应该为当前NALU头的F,而NRI应该为当前NALU头的NRI,Type则等于28,表明它是FU-A包。
FU header生成方法:S = 1,E = 0,R = 0,Type则等于NALU头中的Type。

2)后续的N个FU-A包的FU indicator和第一个是完全一样的,如果不是最后一个包,则FU header应该为:S = 0,E = 0,R = 0,
Type等于NALU头中的Type。

3)最后一个FU-A包FU header应该为:S = 0,E = 1,R = 0,Type等于NALU头中的Type。

因此总结就是:
同一个NALU分包的FU indicator头是完全一致的,FU header只有S以及E位有区别,分别标记开始和结束,它们的RTP分包的序列号应该是依次递增的,并且它们的时间戳必须一致,而负载数据为NALU包去掉1个字节的NALU头后对剩余数据的拆分,这点很关键,你可以认为NALU头被拆分成了FU indicator和FU header,所以不再需要1字节的NALU头了。

关于SPS以及PPS,配置帧的传输我采用了先发SPS,再发送PPS,并使用同样的时间戳,或者按照正常时间戳增量再或者组包发送的形式处理貌似都可以,看播放器怎么解码了,另外提一下,如果我们使用vlc进行播放的话,可以在sdp文件中设置SPS以及PPS,这样就可以不用发送它们了。

使用VLC播放时,sdp文件中的分包模式选项:packetization-mode=1,否则有问题。另外sdp里面设置的编码type必须和rtp包中的一致。

ok关于H264的打包就说到这了,其实这些都有现成的了,不用自己去怎么琢磨,但是感兴趣的可以研究下,毕竟知道原理在看代码或者编代码的时候都会有一定的帮助,至少会提高点自信心吧。

猜你喜欢

转载自blog.csdn.net/qq_37990044/article/details/88366002
今日推荐