微信小程序视频流静音后画面卡死问题研究

最近在搞音视频推流时,发现微信小程序端拉流时出现了画面卡死的问题。

现象是这样的,当推流端静音时,小程序拉流卡死;重新播放声音,小程序画面又再次播放


所以说,问题集中在小程序端的拉流和客户端推流的音频上。

首先必须说明的是,我在视频推流时采用的策略是静音期间只推送视频帧,不推送音频帧。

在静音期间试着使用ffplay进行播放,流能够正常播放,所以不存在推流端视频流丢帧的问题

那么问题就可能集中在liverplayer播放器对纯视频帧的rtmp流的播放问题

猜想

那么就有一个大胆猜测

liveplay的播放原理是视频帧的播放依赖于音频帧的pts,结构如下图所示

这样做的好处是可以确保直播时期的音画同步,但是小程序这边没有考虑无音频帧的情况。

在这里插入图片描述

验证解决

既然只是需要一个pts,那么完全可以再静音期间推送空的音频帧,已确保音频的pts连续

那么播放器的画面就应该不会卡顿

在这里插入图片描述

试验一下,果然小程序的画面不再卡死


本文会经常更新,请阅读个人博客原文: https://xinyuehtx.github.io/ ,以避免陈旧错误知识的误导,同时有更好的阅读体验。

知识共享许可协议 本作品采用 知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议 进行许可。欢迎转载、使用、重新发布,但务必保留文章署名黄腾霄(包含链接: https://xinyuehtx.github.io/ ),不得用于商业目的,基于本文修改后的作品务必以相同的许可发布。如有任何疑问,请 与我联系

发布了100 篇原创文章 · 获赞 2 · 访问量 3901

猜你喜欢

转载自blog.csdn.net/htxhtx123/article/details/104502549