网络游戏和视频体验度量

场景1：校园网

用户规模：5000-100000人

问题表象：学校网管或运维不了解学生在用什么，体验如何，等到学生投诉到更高层时候才知晓，经常面临来自上层的压力。目前高校调查Top3应用是游戏、视频、网页。

场景2：网吧

用户规模：50～200人，数据来源：http://www.doc88.com/p-9042852875906.html

问题表象：业主不了解顾客体验如何，希望能够实时了解，目前网吧Top3应用是游戏、网页、视频。

两个场景都希望能够提前了解用户的体验如何。并且在出现用户体验异常时能够自动定位原因甚至是解决，至少提供解决建议，这样可以减轻技术维护压力，避免不良口碑和经济损失。根据目前调研结果，这两个场景的Top3应用是游戏、视频、网页，因此近期先选取游戏和视频两个业务进行体验度量研究。

深度分析：

1 应用识别的需求

校园网中，网管老师在日常管理或向领导汇报时，经常需要了解学生在使用网络做什么，比例是多少（用于引流和网络建设规划）。

网吧场景也类似（用于做引流，目前五成以上网吧采用双线保障），目的是为了提高用户游戏、视频、看网页质量。

游戏

这里的游戏，指需要联网进行的游戏，不含单机游戏（无需联网），也不包含云游戏（暂时未成气候，带宽要求也完全不同数量级，普通网络游戏一般占用带宽不大，在5k-50kBps左右，例如CS 34kBps，WCIII 5kBps，LOL 15-20KBps）

目前网游最常见分类是按模式，如下所示

ACT,AVG,PUZ,CAG,FTG,LVG,TCG,TAB,MSC,SPG,SLG,STG,RPG,RCG,RTS,ETC,WAG,SIM,S·RPG,A·RPG,FPS,MUD,MMORPG

扫描二维码关注公众号，回复： 5513968 查看本文章

中文意义见 https://zhidao.baidu.com/question/1830487078983772060.html

业界进展：识别出游戏名称，以深信服识别类型最多，千万级URL库和2500多种应用的应用特征识别库，以及每2周更新迭代一次，准确率号称最高，但没有具体数据

目前我司网关产品也有实现应用识别，准确率在90%以上，使用dpi、流量等多种方法综合来识别（推测深信服也是这种方法），

该方法的缺点是需要人工分析识别手段，并且需要人工更新识别库，目前业界暂无智能识别方案（目前来看，各家产品的识别率可以满足客户需求）

之前研究院QOE探索项目通过仅由报文流量特征来对游戏类型流量识别，误报率很高（超过80%），因为很多普通应用软件也是和游戏类似，也以短报文为主，无法区分。

准确率:准确率理想目标是100%，但目前没有技术可以达到这个要求

实时性:由于目前游戏时间一般在10分钟以上，所以实时性不需要非常高，但目前游戏识别技术基本上都在第一个载荷报文经过设备时就可以检测出来，无需累计一定量才能识别，属于实时识别

视频

视频识别目前在EG主要是通过解析报文中的host和referer字段。之前研究院QoE预研项目采用报文字节数的分布情况带入神经网络来进行分类，存在的问题是与下载业务无法区分开。

在体验度量课题中，应用识别的目的是为了能够得知用户在某个时间用什么，然后基于识别出来的应用将其代入不同的算法去衡量其体验情况。从工程角度来考虑，实际上网吧和高校场景都可以从EG出口获取到用户应用识别结果。因此，应用识别部分的研究优先级可以先降低。当然，这里也涉及到非我司EG以及无法修改EG版本的情况也自然存在，这种情况下通过EG获取应用识别结果可能存在困难，就需要考虑其他方法来识别应用。

2 体验度量的需求

游戏

高校网管在汇报时，经常困扰与没有量化的数据，领导不关心设备本身运行如何，更关心学生使用如何，至少是整体情况；在面对学生投诉体验不好比如游戏卡顿时，又无法知道该学生网络使用的历史情况

90%顾客到网吧就是玩游戏，因此网吧业主最关心就是顾客的游戏体验，但又无法人工逐个去询问；如果不知道用户游戏体验，就无法对网络进行改进，被动等反馈；传统的调查问卷耗时耗人，也偏主观，故障统计属于事后措施，时效性差；

从游戏群体数目来看，重点是要对主流网络游戏(多人联机在线竞技游戏MOBA，第一人称射击类游戏FPS，角色扮演游戏RPG，其中MOBA加FPS占到80%)做到度量，包含不同平台（手机，pc，平板）

业界进展：不同于网页浏览、语音、视频体验度量，QOE标准制定者itu对于游戏的标准还在进行中，没有公开发布的文档，预计2018才完成。

目前友商还未发现有实现针对游戏体验度量的功能，即没有产品化的例子可参考。学术界目前主要有3种方法研究游戏体验度量：

(1) 还是通过网络qos参数与主观打分数值拟合的方法来进行游戏度量。优点是可以细化度量，比如分为5类；实施简单，通过qos参数带入拟合公式即可得到mos值；缺点是数据采集耗时耗人工

mos受被调查者影响，波动大；不同游戏对网络要求不同，比如即时战略游戏和角色扮演游戏对网络要求比第一人称射击游戏低，比如QuakeIV要求100ms内，WCIII则允许800ms。

即使同一游戏在不同场景中网络要求也不同，比如LOL中团战场景下网络要求和其他场景下就不同

因此可见，各游戏的qos参数和mos关系不同，无法泛化

(2) 根据用户游戏时间来判断是否提前离开，得到体验接受度。优点是可以适配任何游戏；缺点是只能给出可接受和不可接受2档;需要事先采集游戏平均时间和网络qos参数来判断是否提前离开(注：http://www.doc88.com/p-9042852875906.html 调查中反映只有9%离开游戏是因为网络问题)

(3) 采集网络qos参数和游戏中对象信息（位置，移动）差异性。优点是根据视觉因素为基准比较，体验更准确；缺点是需要从客户端即游戏界面维度采集数据，实施更复杂

之前研究院QOE探索项目通过ping服务器ip来获取游戏的度量体验，本质上也属于方法1，但qos参数是通过icmp的延迟和丢包率计算取得，和游戏实际报文的qos参数相差大，准确率89%（注：只测了一款游戏，只有19个样本，都是在网络好情况下测试的，该准确率没有参考意义）

方法1虽然业界最流行，但没有普适性，方法2，3都只做到基于某款游戏的定性分析，没有量化分析和成果,也没有泛化

准确率:主要问题在于体验受到人的差异性影响，虽然qos参数和mos有研究证明存在0.92的相关性系数，但是没有发现有信服的准确率数据

实时性:由于游戏实时性，一旦出现异常可能就掉线或者角色失败，所以需要实时度量出游戏体验，即在1min内能够提供度量数据

视频

视频包含点播和直播，目前各种直播平台的兴起使得直播业务也开始逐渐上升。根据网吧调研结果，其中点播用户量和直播用户量如下：

点播类视频

直播类视频

对于视频体验，去年QoE预研项目采用网络QoS参数拟合QoE的方式来考虑，并未区分点播和直播业务，并且主要是针对点播业务做实验，效果比较不理想，只测试几次，准确率50%。推测原因主要是，点播类业务与网络短时间的QoS参数不一定有直接关系，因为视频APP往往带有缓冲功能，可以解决短时间网络异常的问题。

业界研究现状：待分析补充。

问题总结：

游戏

目前没有标准，需要定义一个用户在游戏（范围只考虑MOBA，RPG，FPS，下同）中体验好坏的标准，包括影响因素也就是参数（主要有游戏加载时间、卡顿时间两个方面）
需要能够度量出每个用户玩某一游戏的实时体验。包含如下要求：

规模符合高校和网吧，即50-200以及5000-100000两种级别；
按分钟粒度来度量游戏体验情况；
由于游戏种类会不断更新，采用的度量算法或技术需要自动适应这种变化

能够测量出某个场景下（高校和网吧）用户整体玩游戏的实时体验（要求与2类似；这里并不要求一定要有第2点的功能才能计算出整体体验情况）

视频

参考ITU的定义来定视频体验标准（ITU-T G.1080 IPTV，ITU-T P.NATS）
能够度量每个用户看视频的实时体验，包含如下要求：

规模符合高校和网吧，即50-200以及5000-100000两种级别；
按分钟粒度来度量游戏体验情况；
包含点播和直播两种类型的视频；
由于视频应用软件会不断更新，算法或技术要能自动适应软件更新的变化；

能够度量某个场景下（高校一个子网内或者网吧）用户整体视频体验情况。