TS视频封装协议详细说明

企业开发 2023-07-01 10:41:04 阅读次数: 0

TS封装格式概述

TS(Transport Stream) 是一种常见的视频封装格式, 主要用于数字电视和在线视频传输领域。优缺点如下所示:
优点:
1.容错性强: 传输过程中发生丢包或错误信息丢失的情况, 可以快速恢复, 保障数据的完整性。
2.支持随机访问: TS格式对数据进行了分段, 每段可以单独访问和控制, 实现了视频的随机访问。
3.实时性好: TS 封装格式采用分段传输的方式，每个数据片段的大小相对较小，可以有效降低延迟，实现了实时数据传输。
4.可靠性好: TS 封装格式支持多路复用，能够对多个数据流进行混合，提高数据传输效率和可靠性。

缺点:
1.编解码复杂: TS 封装格式需要将视频数据进行分段和整合，对音视频编码技术的要求较高
2.文件较大: TS分段机制, 引入了一定的数据头信息
3.不支持字幕处理：TS 封装格式不支持对字幕数据进行处理，用户需要手动添加字幕

TS数据包

TS封装格式的数据单元是ts包。 每个包都有自己的pid, 包的大小固定为188字节。
ts包分为三类分别为:pat包、pmt包、pes包:

  • PAT(Program Associate Table)包为第一个包, 也就是ts的入口, 它的pid固定为为0x00; pat包里面有pmt包的pid, 通过pat包能定位到pmt包
  • PMT(Program Map Table) 用于描述一个流的内容信息，包括音频、视频或数据信息。 pmt包里面存的就是数据流包的pid，音频包的PID是0x102, 视频包的PID是0x101
  • PES(Packetized Elementary Stream)包是一种基本的数据单元，用于传输音频、视频等多媒体数据信息。

在TS流中, PAT和PMT包重复实现, 大约0.5秒出现一个,保证实时解码性。PAT表是TS流的基础, 任何一个TS流解析寻找节目都是从PAT表开始查找。

TS数据包的结构

ts包固定大小为188个字节, 对应的结构公式如下所示:
tsPacket = tsheader + adaption field + payload;

tsheader: 为ts数据包的包头, 每个数据包都有, 文件头固定为4个字节
adaptation field: 数据填充字段, 有的数据包存在该字段,有的数据包不存在该字段(用作数据填充)
palyload: 音视频数据字段,用来存储pes数据和音视频的原始数据。

各种类型的数据包的结构如下所示:

TS流: 由一个个188字节的数据包组成                      
  +-+-+-+-+     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |  TS   |  =  |  Packet 1 |  Packet 2 |  Packet 3 |    ...    | Packet n-1|  Packet n |
  +-+-+-+-+     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  
一个Packet:             4bytes             184bytes         
  +-+-+-+-+-+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |  Packet | =  |    ts header |       Packet data        |
  +-+-+-+-+-+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

PAT/PMT包结构, 只包含tsheader和PMT/PAT, 不包含adaption和pes
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  | ts header |    PAT/PMT    |   Stuffing Bytss  |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

PES包结构,可能包含adaption和pes字段
       4 byte         x byte                    184-x byte
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  | ts header |  adaptation field |          payload(pes)       |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

ts header的数据结构

每个TS数据包都包含ts header字段, 并且大小固定为4个字节, 四个字节中各个数据位的含义如下所示:
总共4Byte(32bit)

sync_byte                       (8bit)  同步字节，固定为0x47
transport_error_indicator	    (1bit)  传输错误指示符, 通常都为'0'
payload_unit_start_indicator    (1bit)  负载单元起始标示符，一个完整的数据包开始时标记为 '1'
transport_priority              (1bit)  传输优先级，0为低优先级，1为高优先级，通常取0
pid	                            (13bit) 传输包的PID, pat包固定为0x0000 
transport_scrambling_control	(2bit)  传输加扰控制，00表示未加密
adaptation_field_control        (2bit)  是否包含自适应区(adaption):00保留;01无自适应域,含有效负载;10含自适应域，无有效负载;11为同时带有自适应域和有效负载
continuity_counter              (4bit)  递增计数器，从0-f，起始值不一定取0，但必须是连续的

PAT字段的数据结构

PAT(Program Associate Table)节目关联表的结构如下所示:

table_id	                (8bit)	PAT表固定为0x00
section_syntax_indicator	(1bit)	段语法标志位, 固定为1
zero	                    (1bit)	固定为0
reserved	                (2bit)	保留位,固定为11
section_length	            (12bit)	段长度(后面数据的长度),表示从下一个字段开始到CRC32(包含)之间有用的字节数
transport_stream_id	        (16bit)	传输流ID，固定为0x0001, 区别于一个网络中其它多路复用的流
reserved	                (2bit)	固定为11
version_number	            (5bit)	版本号，固定为00000，如果PAT有变化则版本号加1
current_next_indicator	    (1bit)	固定为1，表示这个PAT表可以用，如果为0则要等待下一个PAT表
section_number	            (8bit)	分段的号码. PAT可能分为多段传输, 第一段为00, 以后每个分段加1, 最多可能有256个分段
last_section_number	        (8bit)	固定为0x00, 最后一个分段的号码

开始循环,按顺序可能包含多个下面结构	 	 
program_number	            (16bit)	节目号为0x0000时表示这是NIT，节目号为0x0001时,表示这是PAT
reserved	                (3bbit)	固定为111
PID	                        (13bit)	节目号对应内容的PID值0x1000, 也就是pmt的pid
结束循环	

CRC32	                    (32bit)	前面数据的CRC32校验码

PMT字段的数据结构

PMT(Program Map Table), 节目映射表, 该包的PID可以由PAT表获取。

table_id	                (8bit)	PMT表取值随意, 这里给定0x02
section_syntax_indicator	(1bit)	段语法标志位, 固定为1
zero	                    (1bit)	固定为0
reserved	                (2bit)	保留位,固定为11
section_length	            (12bit)	后面数据的长度, 表示从下一个字段开始到CRC32(含)之间有用的字节数
program_number	            (16bit)	频道号码，表示当前的PMT关联到的频道, 取值0x0001
reserved	                (2bit)	固定为11
version_number	            (5bit)	PMT版本号码,固定为00000,如果PAT有变化则版本号加1
current_next_indicator	    (1bit)	发送的PMT表是当前有效还是下一个PMT有效, 固定为1
section_number	            (8bit)	固定为0x00, PMT可能分为多段传输，第一段为00, 以后每个分段加1, 最多可能有256个分段
last_section_number	        (8bit)	分段数,固定为0x00
reserved	                (3bit)	保留位, 固定为111
PCR_PID	                    (13bit)	PCR(节目参考时钟)所在TS分组的PID，指定为视频PID
reserved	                (4bit)	固定为1111
program_info_length	        (12bit)	节目描述信息,指定为0x000表示没有,前2bit为00, 该域指出跟随其后对节目信息的描述的字节数。

开始循环,按顺序可能包含多个	 	 
stream_type	                (8bit)	流类型，标志是Video还是Audio还是其他数据，h.264编码对应0x1b，aac编码对应0x0f，mp3编码对应0x03
reserved	                (3bit)	固定为111
elementary_PID	            (13bit)	与stream_type对应的PID
reserved	                (4bit)	固定为1111
ES_info_length	            (12bit)	描述信息，指定为0x000表示没有
结束循环

reserved_5                  3bit    保留位, 固定为0x07
reserved_6                  4bit    保留位, 固定为0x0F	 	 

CRC32	                    32bit	前面数据的CRC32校验码

adaptation字段的数据结构信息

adaptation字段用在音视频数据不足的时候的数据填充.

adaptation_field_length                 (8bit)    adaption字段的长度(后面的字段不包括当前字段)
discontinuity_indicator                 (1bit)    指示数据流是否存在不连续的情况
randort7_acce55_indicator               (1bit)    指示数据流中是否存在重要的组或关键帧
elementary_stream_priority_indicator    (1bit)    指示数据流的优先级
PCR_flag                                (1bit)    PCR(Programme Clock Reference)字段是否存在
OPCR_flag                               (1bit)    OPCR字段是否存在
splicing_point_flag                     (1bit)    数据流中是否存在插播点 
transport_private_data_flag             (1bit)    是否存在私有数据
adaptation_field_extension_flag         (1bit)    用于指示是否存在ADAPTATION FIELD EXTENSION

//PCR_flag==1 控制TS数据流同步的42位时间戳
program_clock_reference_base            (33bit)
Reserved                                (6bit)
program_clock_reference_extension       (9bit)

//OPCR_flag==1 ( Optional Program Clock Reference)
//用于同步接收到的多个数据流，其在时间戳方面与 PCR 相似，但只在数据流中的某些节目中使用
original_program_clock_reference_base   33bit
Reserved                                6bit
original_program_clock_reference_extension 9bit

//splicing_point_flag==1
splice_countdown                        (8bit)

//transport_private_data_flag==1
transport_private_data_length           (8bit)
for (1=0,i<transport_private_data_length; i++){
    
    
        private data byte               (8bit)
}

//adaptation_field_extension_flag==1
adaptation_field_extension_length       (8bit)
Itw_flag                                (1bit)
piecewise_rate_flag                     (1bit)
seamless_splice_flag                    (1bit)
Reserved                                (5bit)
//Itw_flag==1
ltw_valid_flag                          (1bit)    
ltw_offset                              (15bit)

//piecewise_rate_flag ==1
reserved                                (2bit)
piecewise_rate                          (22bit)

//seamless_splice_flag==1
Splice_type                             (4bit)
DTS_next_AU[32..30]                     (3bit)
marker_bit                              (1bit)
DTS_next_AU[29 ..15]                    (15bit)
marker_bit                              (1bit)
DTS_next_AU[14..0]                      (15bit)
marker_bit                              (1bit)
for (i=0;i<N;i++){
    
    
reserved                                (8bit)
}

//last
for(i=0i<N;i++){
    
    
stuffing_byte                           (8bit)
}

打包TS流时PAT和PMT表是没有Adaptation 字段的，不够的长度直接补0xff即可。视频流和音频流都需要加adaptation field, 通常加在一个帧的第一个ts包和最后一个ts包里,中间的ts包不加。
打包ts文件的时候需要注意, 需要添加PCR时钟, 否则在VLC播放器中播放会失败。无法获取视频的时长。
这里以java实现为例,介绍一下PCR值生成的方法:

void create_adaption_field(AdaptionField  adption_field, long pts, boolean has_pcr)
{
    
    
    int index = 0;
    Arrays.fill(adption_field.adaption_buffer,0,adption_field.adaption_buffer.length, (byte) 0xFF);

    if (has_pcr)
    {
    
    
        //包含pcr
        long pcrValue = pts * 300;
        long PCR_BSE = pcrValue / 300;
        long PCR_EXT = pcrValue % 300;
        后续可能会更新,7个字节
        adption_field.adaption_buffer[index++] = 0x07; 
        //取0x50表示包含PCR
        adption_field.adaption_buffer[index++] = 0x50; 
        adption_field.adaption_buffer[index++] = (byte)((byte)0xff & (PCR_BSE >> 25)); //PCR_BASE的前8位
        adption_field.adaption_buffer[index++] = (byte)((byte)0xff & (PCR_BSE >> 17)); //PCR_BASE的紧跟8位
        adption_field.adaption_buffer[index++] = (byte)((byte)0xff & (PCR_BSE >> 9));  //PCR_BASE的紧跟8位
        adption_field.adaption_buffer[index++] = (byte)((byte)0xff & (PCR_BSE >> 1));  //PCR_BASE的紧跟8位
        adption_field.adaption_buffer[index++] = (byte)((PCR_BSE <<  7 |  PCR_EXT >> 8 | 0x7e) & 0xFF);
        adption_field.adaption_buffer[index++] = (byte)(0xff & PCR_EXT);

    }
    else
    {
    
    
        //不包含pcr
        adption_field.adaption_buffer[index++] = 0x07; //后续可能会更新, 7个字节
        adption_field.adaption_buffer[index++] = 0x00; //0x00都不包含
    }
    adption_field.adaption_field_size = index;
}

PES字段的数据结构

pes层(ts层中payload)是在每一个视频/音频帧上加入了时间戳等信息, pes包内容很多, 我们只留下最常用的。
长度为14(只包含pts)/18(包含pts和dts) 个字节

pes_start_code	    (24bit)        	开始码，固定为0x000001
stream id	        (8bit)	        音频取值(0xc0~0xdf),通常为0xc0,视频取值(0xe0-0xef),通常为0xe0
pes_packet_length	(16bit)	        后面pes数据的长度,0表示长度不限制,只有视频数据长度会超过0xffff
flag	            (8bit)	        是否加密, 通常取值0x80，表示数据不加密、无优先级、备份的数据
flag	            (8bit)          是否包含pts和dts, 取值0x80表示只含有pts，取值0xc0表示含有pts和dts
pes_data_length	    (8bit)        	后面数据的长度，取值5或10
pts	                (40bit)	        pts显示时间戳
dts	                (40bit)	        dts解码时间戳

pts是显示时间戳、dts是解码时间戳,视频数据两种时间戳都需要, 音频数据的pts和dts相同，所以只需要pts。
有pts和dts两种时间戳是B帧引起的, I帧和P帧的pts等于dts。如果一个视频没有B帧, 则pts永远和dts相同。从文件中顺序读取视频帧, 取出的帧顺序和dts顺序相同。

TS数据流分包策略

这里以一帧AAC音频数据为例说明一下TS封装格式的分包策略, 通常一个TS数据包无法传输一个完整的帧, 需要将一帧音视频数据拆分成多个数据包, 详细策略如下:
1.首先在流里面添加PAT包和PMT包作为流的开始
2.然后添加第一个PES包作为数据包的开始, 包含Adaption、PES。包中包含此帧的长度, 采样率, pts/dts等信息。
3.中间添加拆分的数据PES包, 包中只包含tsheader和音视频数据
4.最后一个数据包,作为结尾包含ts header、Adaption、音视频数据,但不包含PES字段。

对应的结构如下图所示:

  +-+-+-+-+     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-
  |  TS   |  =  |  PAT包  |  PMT包 |  PES1  |    ...    | PES n | 
  +-+-+-+-+     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-
  
第一个PES包:            4Byte       8Byte     14Byte(pts)  162Btte
  +-+-+-+-+-+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |  Packet | =  |    ts header | Adaption |  PES |       paylod |
  +-+-+-+-+-+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

中间的PES包, 只包含tsheader和payload, 不包含adaption和pes
                       4Byte             184Byte
  +-+-+-+-+-+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  |  Packet | =  |    ts header |       payload        |
  +-+-+-+-+-+    +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

最后一个PES包 包含tsheader、adaption、payload
       4 byte         x byte                    184-x byte
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+
  | ts header |  adaptation field |          payload        |
  +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+

猜你喜欢

转载自blog.csdn.net/yang1fei2/article/details/130913479
今日推荐
《美国对全球网络空间安全与发展的威胁和破坏》报告发布
火速冲上 GitHub 热榜 —— 开源编程语言、框架哪有这么可爱？
北京人形机器人创新中心发布全球首个纯电驱拟人奔跑的全尺寸人形机器人“天工”
LFOSSA 源来如此公开课 | 掌握云原生未来：CNCF 认证全面攻略与备考秘籍
周排行
让自己的头脑极度开放
CentOS 6.5(x64) 和Redhat6.5操作系误删libc
高可用注册中心
【日记】12.28/【题解】AtCoder AGC041
XML（5）_XML 约束_DTD
Java集合Map（四）
树梅派安装桌面环境教程
pipenv 的 使用和安装
小程序白屏问题和内存研究
C语言简单选择排序
每日归档
更多
2024-05-02(0)
2024-05-01(4)
2024-04-30(1)
2024-04-29(40)
2024-04-28(0)
2024-04-27(56)
2024-04-26(39)
2024-04-25(22)
2024-04-24(36)
2024-04-23(26)

代码天地 © 2018 codetd.com

境外服务器   最新电视剧2022