如有错误请指正，谢谢。

使用ffmpeg添加rtsp字幕流（t140）

使用ffmpeg推送一个视频文件到rtsp非常简单:

ffmpeg -re -i subtitle.mkv -vcodec copy -acodec copy -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:10554/sVideo

但如果想要把视频中的字幕流也推送到rtsp服务器上却不行:

ffmpeg -re -i subtitle.mkv -vcodec copy -acodec copy -scodec copy -rtsp_transport tcp -f rtsp rtsp://127.0.0.1:10554/sVideo

提示:
[rtp @ 0503fd00] Unsupported codec ass

所以要使用ffmpeg推送rtsp字幕流必须要修改源码, 关于rtp载荷文本流的协议描述为RFC4103。

RFC4103

1.使rtp打包支持subtitle形式的编码

要使rtp打包时支持相关字幕编码器, 必须修改rtpenc.c中的 is_supported函数, 在最后加入AV_CODEC_ID_ASS(ass字幕), AV_CODEC_ID_TEXT（纯文本字幕流）

static int is_supported(enum AVCodecID id)
{
    switch(id) {
    case AV_CODEC_ID_DIRAC:
    case AV_CODEC_ID_H261:
    ...
    case AV_CODEC_ID_TEXT:
    case AV_CODEC_ID_ASS:
        return 1;
    default:
        return 0;
    }
}

2.使创建sdp时生成subtitle相关字段

rtsp对可用媒体流的数量及属性判断是通过SDP, 所以有字幕流的rtsp，需要在创建rtsp时一并将字幕流的信息也创建完成。

修改sdp.c sdp_write_media_attributes函数，指定subtitle编码器对应的流媒体描述。
指定AV_CODEC_ID_TEXT编码器的名称为t140, AV_CODEC_ID_ASS编码器的名称为ass。
ffmpeg解析rtsp的sdp时会根据rtpmap中的编码器名称去寻找对应的编码属性，生成相关的媒体流。

sdp.c：sdp_write_media_attributes 函数修改节选

    switch (p->codec_id) {
        case AV_CODEC_ID_DIRAC:
            av_strlcatf(buff, size, "a=rtpmap:%d VC2/90000\r\n", payload_type);
            break;
        case AV_CODEC_ID_H264: {
            int mode = 1;
            if (fmt && fmt->oformat && fmt->oformat->priv_class &&
                av_opt_flag_is_set(fmt->priv_data, "rtpflags", "h264_mode0"))
                mode = 0;
            if (p->extradata_size) {
                config = extradata2psets(fmt, p);
            }
            av_strlcatf(buff, size, "a=rtpmap:%d H264/90000\r\n"
                                    "a=fmtp:%d packetization-mode=%d%s\r\n",
                                     payload_type,
                                     payload_type, mode, config ? config : "");
            break;
        }
        ......

        case AV_CODEC_ID_TEXT:
            av_strlcatf(buff, size, "a=rtpmap:%d t140/1000\r\n", payload_type);
            break;
        case AV_CODEC_ID_ASS:
            av_strlcatf(buff, size, "a=rtpmap:%d ass/1000\r\n", payload_type);
            break;
        default:
            /* Nothing special to do here... */
            break;

截止目前，使用ffmpeg推送rtsp字幕流的源码修改已经完成。
但若想使用ffmpeg播放非t140字幕编码的字幕流，还差最后一步。

3.使sdp中的subtitle可以正确被解析

假设有以下sdp信息：

v=0
o=- 0 0 IN IP4 127.0.0.1
s=No Name
c=IN IP4 192.168.1.180
t=0 0
a=tool:libavformat 56.40.101
m=video 0 RTP/AVP 96
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z24AMqbMpgHgCJ+XARAAGXTwBMS0CPGDGaA=,aOl4/LA=; 
profile-level-id=6E0032
a=control:streamid=0
m=audio 0 RTP/AVP 97
a=rtpmap:97 MPEG4-GENERIC/48000/2
a=fmtp:97 profile-level-id=1;mode=AAC-hbr;sizelength=13;indexlength=3;indexdeltalength=3; 
config=119056E500
a=control:streamid=1
m=text 0 RTP/AVP 98
a=rtpmap:98 t140/1000
m=text 0 RTP/AVP 99
a=rtpmap:99 ass/1000

以上文本信息描述了两个subtitle流：一个文本流(t140)，一个ass字幕流(ass)。
ffmpeg在解析sdp时会创建两个AVStream, 该AVStream的codec_type为AVMEDIA_TYPE_SUBTITLE, codec_id会调用 ff_rtp_handler_find_by_name 方法进行寻找。

看下ff_rtp_handler_find_by_name的具体实现

    const RTPDynamicProtocolHandler *ff_rtp_handler_find_by_name(const char *name, 
    enum AVMediaType codec_type)
    {
        void *i = 0;
        const RTPDynamicProtocolHandler *handler;
        while (handler = ff_rtp_handler_iterate(&i)) {
            if (handler->enc_name &&
                !av_strcasecmp(name, handler->enc_name) &&
                codec_type == handler->codec_type)
                return handler;
        }
        return NULL;
    }

ff_rtp_handler_iterate实现：

    const RTPDynamicProtocolHandler *ff_rtp_handler_iterate(void **opaque)
    {
        uintptr_t i = (uintptr_t)*opaque;
        const RTPDynamicProtocolHandler *r = rtp_dynamic_protocol_handler_list[i];

        if (r)
            *opaque = (void*)(i + 1);

        return r;
    }

即通过遍历rtpdec.c中的rtp_dynamic_protocol_handler_list去寻找符合要求的RTPDynamicProtocolHandler，所以我们需要在rtpdec.c中添加有关ass编码器的RTPDynamicProtocolHandler，同时将对应的地址加入到list中.

注意:
或许因为rfc标准的原因，t140对应的动态协议已经被实现了, 所以若是推送的rtsp字幕流的编码器名称为t140，则无需修改ffmpeg源码也可以进行解析。

static RTPDynamicProtocolHandler t140_dynamic_handler = { /* RFC 4103 */
    .enc_name   = "t140",
    .codec_type = AVMEDIA_TYPE_SUBTITLE,
    .codec_id   = AV_CODEC_ID_TEXT,
};

static RTPDynamicProtocolHandler ass_dynamic_handler = {
    .enc_name   = "ass",
    .codec_type = AVMEDIA_TYPE_SUBTITLE,
    .codec_id   = AV_CODEC_ID_ASS,
};

static const RTPDynamicProtocolHandler *rtp_dynamic_protocol_handler_list[] = {
    /* rtp */
    &ff_ac3_dynamic_handler,
    ......
    &t140_dynamic_handler,
    &ass_dynamic_handler,
    ......
};

至此，修改完毕。

4.代码添加text字幕流

一段代码节选，添加一个字幕流到rtsp流中:

    bool RtspPusher::AddInfoStream(unsigned &streamIndex)
    {
        if(!m_outputCtx) //AVFormatContext
            return false;
        AVStream * outStream = avformat_new_stream(m_outputCtx, NULL);
        AVCodec * encoder = avcodec_find_encoder(AV_CODEC_ID_TEXT);
        if(encoder == NULL)
            return false;
        AVCodecContext * encoderContext = avcodec_alloc_context3(encoder);
        int ret = avcodec_parameters_from_context(outStream->codecpar, encoderContext);
        avcodec_free_context(&encoderContext);
        if(ret < 0)
            return false;
        outStream->codecpar->codec_type = AVMEDIA_TYPE_SUBTITLE;
        streamIndex = m_outputCtx->nb_streams - 1;
        return true;
    }

欢迎转载: https://blog.csdn.net/shizheng163