麻省理工学院计算机科学与人工智能实验室(MIT CSAIL)开发的基于机器学习的流媒体系统能更好的适应不同的网络条件，从而提供更加流畅的流媒体传输体验。
原文：http://news.mit.edu/2017/high-quality-online-video-with-less-rebuffering-pensieve-0814
我们在YouTube上观看视频时常会遇到两件非常令人不悦的事情：视频突然出现了大量马赛克，或者卡住并开始重新缓冲。
这两种情况的出现都是由于特定的算法预先将视频切分成很多小片，并随着你观看的进度进行实时加载。如果你的网速很慢，YouTuBe可能会将随后几秒视频的分辨率降低，以确保视频观看的流畅性，从而造成马赛克现象（像素化）。如果你试图快进，直接跳到视频尚未加载的部分，那么视频就不得不停下来以便对该部分进行缓冲。
YouTuBe通过自适应比特率（ABR）算法，旨在为用户提供更加稳定的观看体验。这类算法还节省了带宽：人们通常不会自始至终的观看视频，因此，面对每天10亿小时的视频流量，倘若随时为用户缓冲成千上万条长视频，这无疑是一种资源的浪费。
尽管ABR算法总体上解决了这些问题，但用户对视频流观看体验的期待也在不断提高，并且诸如Netflix和YouTuBe这类网站在视频质量与播放卡顿率之间的折中依然无法满足用户的需求。
“研究表明，用户会因视频质量过低而放弃观看该段视频，从而导致内容提供商在广告收入方面遭受重大损失”麻省理工学院Mohammad Alizaden教授说道，“视频网站必须不断寻求新的创新方案。”
为此，麻省理工学院计算机科学与人工智能实验室（CSAIL）的Alizadeh教授和他的团队开发了Pensieve系统。这是一种基于人工智能的系统，通过机器学习的方法，依据网络条件选择不同的算法。与已有系统相比，该系统在提升视频质量的同时，能获得更低的卡顿率。
具体来说，该团队在实验中发现，相比于其他视频流传输方式，Pensieve可以将重缓冲情况降低10%~30%，并且在关键的“体验质量（QoE）”指标方面，用户评分高出了10%~25%。
Pensieve系统也可以根据内容提供商的优先级对算法进行调整。例如，如果用户正在乘坐地铁并且即将进入无网络区域，YouTuBe可以选择自动降低比特率，加速加载足够量的视频，以便用户在通过无网络区域时进行观看，而无需重缓冲。
“我们的系统非常灵活，可以对任何目标进行优化。”博士研究生HongziMao说道。Hongzi Mao作为第一作者与Alizadeh教授和博士生RaviNetravali共同撰写了相关论文。“你甚至可以设想，用户能够根据自己对重缓冲和降低分辨率的需求，个性化定制属于自己的流媒体体验。”
自适应比特率算法的工作原理
ABR算法大体上分为两种：第一种是基于网速，算法根据测量出的网络速率对流媒体传输进行调整；第二种是基于缓冲，旨在确保总有一定长度的带观看视频已经被提前缓冲。
然而，这两类算法有共同的弊端，即它们没有同事考虑到网速和缓冲。因此，这些算法所做的码率选择决策通常表现都不够好，需要专业人员手动调整才能适应不同的网络条件。
研究人员也曾试图将两种方案结合起来：卡内基梅隆大学开发出了一种基于“模型预测控制（MPC）”技术的系统，其表现比前文提到的两类算法都更胜一筹。这种系统旨在通过预测用户网络条件随时间变化的方式来对决策进行优化。这是一个很大的改进，但仍然存在难以对网络速率等因素进行建模的问题。
Alizadeh教授对此的评价是：“对动态网络进行建模是非常困难的，而采用像MPC这类技术的系统，其最终表现奖取决于网络动态模型是否优质。”
Pensieve**不需要依赖任何模型以及任何网络速率等条件的假设**。他利用神经网络实现ABR算法，并在多种不同缓冲情况和网络速率条件下反复进行了全面测试。
该系统通过奖励和惩罚机制对其算法进行调整。例如，系统将在视频以高分辨率传输并无缓冲（等待）时获得奖励，而在视频进行重缓冲时遭到惩罚。
“该系统能够自行学习不同策略是如何对其表现造成影响的，并且通过观察过去的实际表现，更稳健地对其决策方式进行改进。”Hongzi Mao说的。
像YouTuBe这样的内容提供商可以根据他们有限考虑的指标来自行定制Pensieve系统的奖惩机制。例如，研究表明，观看者在视频播放的开始阶段更容易接受重缓冲的现象，因此算法可以被调整为，对出现缓冲现象的惩罚随着时间的推移而加重。
融合深度学习技术的机器学习
该团队在多种环境中对Pensieve系统进行了测试，包括在咖啡厅中使用Wifi，在街上步行时使用LTE等。实验表明，与MPC相比，Pensieve在达到与其相同的视频分辨率时，缓冲情况减少了10%~30%。
“以前的方案都尝试基于专家的直觉进行控制，”卡内基梅隆大学电气和计算机工程学院的助理教授Vyaz Sekar说道（他没有参与Pensieve系统的研究），“而Pensieve系统则预示着利用新的类“深度学习”技术的机器学习方法，将有很大希望取得成功。”
Hongzi Mao说，该团队的实验表明，Pensieve即使面对以前从未出现过的情况也能很好地做出应对。
“当我们在利用合成数据对Pensieve进行压测时，该系统依然足以应对真实的网络情况，”Hongzi Mao说道，“这种压测表明，该系统能够很好地对现实世界中的新场景进行推理。”
Alizadeh教授还指出，Pensieve系统只接受了一个月下载量的视频数据的训练。如果团队能够拥有Netflix或YouTuBe量级的大规模数据，该系统的性能将会有更加显著的提升。他们团队的下一个项目是在VR视频场景下对Pensieve进行测试。
“传输4K分辨率的VR视频往往需要高达每秒数百兆的比特率，目前网络根本无法支持如此高的比特率，”Alizadeh教授说。Pensieve系统能够为VR视频的传输做出一些贡献。