音视频技术开发周刊 | 139

每周一期,纵览音视频技术领域的干货和新闻投稿:[email protected]

架构

日均超30亿分钟!腾讯实时音视频技术低延时的秘密

TRTC通过全平台覆盖的 SDK 及云 REST API 的方式,在腾讯云上向开发者提供开放服务,致力于帮助开发者快速搭建低成本、低延时、高品质的音视频互动解决方案。本文从网络层、设备端与服务端三个层面详细解析TRTC低延时技术实现,感兴趣的小伙伴点击查看详细信息。(https://wj.qq.com/s2/5772278/50db/

https://mp.weixin.qq.com/s/gV7ucyLhr78Ts2MmvBEQgQ

URTC万人直播互动实践之路
本文由UCloud RTC首席架构师 王立飞的线上分享内容整理而成。详细介绍了URTC万人直播互动的架构设计与难点,在研发、业务应用和产品迭代过程中的架构演进与考量标准。

https://mp.weixin.qq.com/s/l9rmV0fNm2UKRcFB-1tPxw

WebRTC 和 WASM 如何为 Web 应用程序打开新机遇

WASM 简要介绍。

https://blog.rtcweb.in/how-webrtc-and-wasm-are-opening-new-opportunities-for-web-apps/

360视频云Web前端HEVC播放器实践剖析

360视频云前端团队围绕HEVC前端播放及解密实现了一套基于WebAssembly、WebWorker的通用模块化Web播放器,在LiveVideoStackCon2019深圳的演讲中360奇舞团Web前端技术经理胡尊杰对其架构设计、核心原理,具体痛点问题的解决方式进行了详细剖析。

https://mp.weixin.qq.com/s/IlKIS7nSyoV6J784ua_Ygw

传输网络

如何提升OTT的用户体验

本文来自SMPTE 2019,演讲者Thierry Fautier是Harmonic的视频战略副总裁。视频的主题是如何提升OTT的用户体验。

https://mp.weixin.qq.com/s/mpqJJZaA0utJj_pPt24OBw

5G要抛弃TCP/IP?

对于更高级的5G服务,TCP/IP被认为不是最佳的。

https://mp.weixin.qq.com/s/LVRLdA-A2E2U3D8QZzFi9Q

编解码

SVT-AV1:开源编解码最新进展

SVT-AV1是开源的AV1编解码器实现,托管在GitHub上[1]。如我们先前的文章所述[2],英特尔和Netflix自2018年8月以来一直在就SVT-AV1编解码器框架进行合作。团队一直密切合作进行SVT-AV1的开发、交流架构决策;实施新工具并改善压缩效率。自从项目开源后更多技术合作伙伴和开源社区为SVT-AV1做出非常多的贡献。此篇技术博客中,我们将继续报告SVT-AV1项目的当前状态以及编解码器的特性与性能。

https://mp.weixin.qq.com/s/dgNbjwHxy4ns0FNP9j2_Cw

用JPEG-XS和ST2110创建带宽有效的工作流

本篇是来自intoPIX的视频专家Jean-Baptiste Lorent带来的演讲,主题是“用JPEG-XS和ST2110创建带宽有效的工作流”,由他撰写的白皮书“SMPTE 2019:Creating Bandwidth-Efficient Workflows with JPEG XS and SMPTE ST 2110”。

https://mp.weixin.qq.com/s/MaQSn5j_iOrFgElA4GBZjQ

音视频的采集、编码、封包成 mp4 输出

使用 Android Camera API 完成音视频的采集、编码、封包成 mp4 输出

基于android.hardware.Camera,创建一个横屏应用,实时预览摄像头图像,实现录像并输出MP4的功能。

https://juejin.im/post/5e873d0be51d4546fa451cd2

视频技术

下一代视频协作解决方案

来自SignalWire的视频支持。从公告中无法得知这是 MCU 还是 SFU。

https://signalwire.com/blogs/product/next-generation-video-collaboration-solutions

宣布使用 Twilio 视频录制提高灵活性和控制力

Twilio 添加了 composition API 以及外部 S3存储。

https://www.twilio.com/blog/video-recording-compositions-encryption-storage-ga

iOS中使用OpenGL 实现增高功能

通过滑块来编辑区域的增高或者缩短。

https://mp.weixin.qq.com/s/HSwuPxa0SgiuqcFSSgW0_g

Facebook GDC多人VR游戏开发研讨会

前不久,受疫情影响Facebook原定于GDC期间举行的开发者论坛也改为线上,包含三场视频直播研讨会,涉及了VR最佳案例、多人VR游戏、Oculus平台开发介绍三个主题。其中,在多人VR游戏开发和未来环节,Oculus产品经理Mike Howard与内容部经理Bruce Wooden激烈地探讨了Oculus为了推动VR多人游戏发展所做的努力,以及对未来的预期。

https://mp.weixin.qq.com/s/QG3VT1L3lrTTpq1VMwzyTw

Y combinator初创加速器2020冬季团队大赏——最好与最坏的时代

受新冠疫情的影响,初创企业加速器Y Combinator将自己的demo day转移到了线上。今年公开的初创团队一共有168组,其数量之多,以至于TechCrunch要用四篇长文报道才将他们全部介绍完。

https://mp.weixin.qq.com/s/_jt2pLQiHq5nkcZVBFIqOw

Google Duo采用WaveNetEQ填补语音间隙

在线语音通话已经成为人们日常生活的一部分,但数据包常以错误的顺序或错误的时间到达另一端,有时个别数据包甚至可能会完全丢失。这不仅导致通话质量降低,而且是音频和视频传输都普遍存在的问题。

https://mp.weixin.qq.com/s/l0gzRRKSrJ2wo14xFIcKzg

8K及以上:多少K才算太多?

去年,8K风靡一时。在CES、NAB和IBC贸易展览上,很多产品和讨论都与即将到来的8K革命有关。这是一个建立在技术进步和渴望,迈入下一个大事件基础上的行业的重要组成部分。也就是在今年,CES展出了三星、LG、夏普等品牌的8K显示屏,8K已经成为这家电视供应商的最新旗舰产品。

https://mp.weixin.qq.com/s/ene-x7JDCTXEslwr63oKaw

AI智能

使用树莓派构建面部识别客户端

GetUserMedia + Vision + ML. 浏览器中实现和体验

https://medium.com/swlh/building-a-facial-recognition-lock-client-with-raspberry-pi-ad06319be88f

智能推荐算法在直播场景中的应用

随着移动互联网泛娱乐化行业的发展,直播与短视频越来越深入人们的生活,人们对于直播与短视频的质量要求也越来越高。是否能够匹配用户的兴趣,满足用户的需求,已经成为决定平台增长的关键因素。

https://mp.weixin.qq.com/s/R7b34jnzE7VKa6RtgDXb6Q

图像

RANet : 分辨率自适应网络效果和性能的best trade-off | CVPR 2020

深度CNN带来了性能提升的同时也带来了过高的计算量,许多研究放在了如何进行网络加速上面,其中比较直接的是根据样本难易程度进行自动调整的自适应网络。基于对自适应网络的研究,论文提出了自适应网络RANet(Resolution Adaptive Network),思想如图1所示,网络包含多个不同输入分辨率和深度子网,样本先从最小的子网开始识别,若结果满足条件则退出,否则继续使用更大的子网进行识别,子网的特征不是独有的,下一级别的子网会融合上一级别的子网特征,从实验来看,论文在效果和性能上取得了很不错的trade-off。

https://mp.weixin.qq.com/s/3DSJUy7fUpJL924H1TrZhA

滤镜算法介绍

随着计算机硬件性能发展和图像处理算法的不断进步,数字图像处理技术的应用越来越广泛。在移动互联网时代,手机和摄像设备的完美结合实现了对图像的强力支持。在此背景下,诞生了众多的优秀的移动端图像编辑软件和图像社交软件。图像特效滤镜是这些软件的核心功能之一,使得用户只要通过点击手机屏幕就能够获得摄像师修图之后的图片效果。

https://mp.weixin.qq.com/s/9xQ1HyvZZ1VFd4uImOIWvQ

使用色差指标评估HDR和WCG图像质量

本文来自SMPTE2019的演讲,演讲者是来自Dolby Laboratories Inc的Jaclyn Pytlarz。演讲主题是使用色差指标评估HDR和WCG图像质量。

https://mp.weixin.qq.com/s/aT1LaoMA4hGnRZAGfVaXlQ

未来的电影该如何保存和存档

本文是来自SMPTE 2019的演讲,演讲者是来自CBC的媒体制作设计师Pierre Hugues Routhier,演讲题目是“How Will We Archive and Preserve the Movies of Tomorrow”。

https://mp.weixin.qq.com/s/_7iC574M9vfqkeugogidmQ

资源推荐

国产开源流媒体SRS4.0对视频监控GB28181的支持

本篇文章是第一篇介绍SRS的文章,后续应该还会有一些测试和使用经验的文章,同时可能会有一些源码阅读笔记。本篇文章主要是介绍下国产开源流媒体SRS涉及的入门资料,SRS前期对标的nginx-rtmp-module,是国内第一款真正开源的流媒体服务,应用在直播和RTC领域。但是成立同学志存高远,不仅仅局限于某一个行业,近期WebRTC、SRT、GB28181支持的都很快,希望大家都能参与进来,支持国产开源流媒体发展壮大。

https://mp.weixin.qq.com/s/VIPSPaBB5suUk7_I2oOkMw

活动推荐

5G 时代VR + 8K 直播 刷新视界的认识

未来5G带来的高速率、低延迟、广连接网络环境,有望给虚拟现实产业带来强大的支撑作用。金山云做为视频行业领先的服务提供商,持续在VR领域投入资源,在高清直播领域首先进行商业化落地。计划4月16日联合LiveVideoStack线上隆重发布《VR + 8K 直播商业化解决方案》,并对核心关键技术进行解读。

预约观看直播:http://mudu.tv/watch/5448453

点击“阅读原文”可查看更多详细信息,请大家科学上网。

原创文章 505 获赞 369 访问量 61万+

猜你喜欢

转载自blog.csdn.net/vn9PLgZvnPs1522s82g/article/details/105479642
今日推荐