I am an older female diaosi from the Tencent SNG Social Network Operations Department, referred to as DSNO (Diaosi NO.1) team. This proposition wants to share with you the practical experience of operating cost optimization in Tencent, and explore the value of refined cost management. The first half of the picture below is familiar to everyone and is Wang Sicong's first small goal in life.
As a female diaosi, why do you have a bigger goal than him? At the beginning of each year, we set the annual target for SNG cost optimization. In the past three years, we have saved more than 1 billion cash flow for the company through technical means. The structure and capacity of the product are also getting healthier, and it has become very difficult to continue cost optimization. Last year, our team members were like the picture above when they set their goals.
But the ideal still has to be there, what if it is realized?
So at that time, we set a goal of optimizing another 300 million yuan in confusion. Luckily, in 2017 we achieved this goal and once again received a company-level award, which is not easy. Because "cost and quality" is a balance beam, and 2017 SNG products are facing fierce internal and external competition, it is impossible to reduce product quality. So I would like to share with you how to optimize costs while ensuring quality.
Let me ask you a question first:
My colleagues and circles of friends around me did the same survey and got similar answers. Everyone doesn't care much about mobile phone traffic, and they don't like to turn chrysanthemums and freezes. I myself use the Tencent King Card, which is free from Tencent, and other traffic is 1 yuan 800 M/day in the country. I have an Alibao card used by a development girl, 1 yuan/G for the national daily rent traffic, which is used by my leader. He doesn’t even remember how much a month for the Global Pass package. Anyway, he can’t use up the data. He said that he has no shortage of data, but time is the only thing he needs.
In March of this year, the government reported that "the data roaming charges will be abolished, and the data charges will be reduced by 30% within the year." 5G will come out in 2020, and the network speed is 5-15 times that of 4G. The era of national traffic is coming, the time spent on the Internet will increase, and more rich media applications will grow rapidly, such as QQ albums, Moments, Weibo, and Facebook. , The live broadcast is based on the dissemination of original short videos, which is more intuitive than text and pictures, and the video makes people feel more empathetic, but it has "high bandwidth".
Now the pictures taken by ordinary mobile phones are about 2M without compression, and a small video of 3 minutes is about 20M. Direct storage or transmission not only wastes the user's bandwidth, but also easily causes chrysanthemums and freezes. How to do this without affecting the quality Compressing pictures and videos to a minimum, the mobile phone consumes less power and heats up, and the network transmission is faster, which improves the user experience.
Having said so much, this is what I think is the value behind one billion yuan in cost optimization, using technical means to provide users with a low-cost and high-quality product experience.
Bandwidth Optimization Practical Case - Image Compression
(1) QQ album image compression
The QQ photo album business has developed relatively steadily. The total number of pictures is in the trillions, millions of new pictures are uploaded every day, tens of billions of pictures are downloaded every day, and the daily peak of external network bandwidth is hundreds of gigabytes. The cost pressure has always existed.
1.1. WebP image compression
There are generally three mainstream formats for user-uploaded images: JPEG, PNG and GIF animations. In 2015, QQ albums used Google's WebP format to compress the original images uploaded by users in the background. Under the same quality, the WebP images are 30 smaller than the original images. %.
1.2. Resolution adaptation
User terminal models have different resolutions, but some products are delivered at the maximum resolution, but low-end and mid-range models do not require high-resolution images. It is optimized to return images of appropriate resolution on demand, which can save money. 20% of traffic. These two optimizations made in 2015 have saved traffic and storage space for users and enterprises on the premise of maintaining the image clarity.
1.3. GIF animation compression
At the end of 2016, the album launched a new function. Users can choose their own photos to synthesize GIF animations when they make comments. The new function has led to a very rapid increase in traffic, and the corresponding external network bandwidth cost has increased by 70%. Traffic analysis found that only 5% of the downloaded GIF format pictures took up 20% of the bandwidth, and most of the rest were compressed pictures in the WebP format.
GIF 动图相当于一组图片的集合，可以把它看做一个小视频，但 GIF 格式是一种位图文件格式，是利用颜色表索引来表示每个像素颜色，然后标记重复出现的数据，编码过程对图片颜色数据没有损失，是一种无损压缩方式，相比视频压缩算法压缩率比较低，用户自己编辑的 GIF 大小普遍在 2-4M，是普通图片几十倍，占用户和企业的下载流量和存储都很大，当时用的开源 WebP 不支持 GIF 动图压缩所以考虑其他图片压缩格式。
1.4. 新技术选型 TPG 图片压缩
腾讯 SNG 音视频实验室基于（AVS2 国家标准内核）开发了 TPG 图片压缩格式。采用了视频编码模式，利用帧间参考，大幅减少冗余值，提升压缩率。特别是在动图上具有高压缩率和低编解码耗时的明显优势，经在 QQ 相册验证 TPG 可在同等质量下可将 GIF 大小降低 90%，将 WebP 再降低 21%，比 JPEG 节约 43% 左右。并做了编解码性能的优化，耗时等都优于 WebP。为此 17 年全面推广相册 TPG 格式化。
右图是压缩了11 倍的 TPG 动图,人眼主观观察质量很难看出区别。
1.4.1. 相册接入 TPG 图片压缩-前后台解决的困难
全客户端统一后台配置
相册图片展示场景复杂，接入方案要适用于移动、PC、H5内核等所有客户端版本，根据用户客户端能力优先返还 TPG > WebP > JPG，右图是后台搭建的全客户端统一后台配置。
分级压缩、OC 点分片缓存
因为 GIF 比较大，压缩耗时较长，针对不同大小的GIF分级压缩，小于 2M 的实时压缩，设置 2s超时，2-8M 设置 4s为超时，大于 8M 的异步压缩并更新缓存。同时为了保证 OC 点不会因为 GIF 过大而容易被淘汰，做了分片缓存策略。
兼容性
对于分享出去的 GIF 我们给出原 URL，优先保障用户体验。
灰度发布
作为首个大体量全面接入 TPG 的业务，为了保障平滑过渡，首先对新上传的图片保障异步压缩后存储在源站，被访问后会存储在中间源和 OC 点,大概一个月等 TPG 热数据占 70% 后，对旧的图片需要人工触发或者基于访问触发实时压缩。
1.4.2. 廉价转码资源
TPG 是利用 AVS2 编码标准 通过非常复杂的计算来提高图片压缩比，实际无论是图片、音频还是视频压缩比的提升都是增加计算复杂度，等于是用计算资源来换带宽和存储，所以带宽优化需要大量廉价转码资源，如果专门采购转码服务器，需要大量的现金流。所以我们用 FPGA 转码卡与离线平台软硬结合来提供廉价计算资源。
离线平台
离线平台主要通过部署 Docker 的对 CPU 空闲时段进行资源调度。资源来源有母机超卖池、公司和部门资源池、以及线上低负载设备。同时为了不影响原有的线上业务和资源池的分配，会通过监控任务的负载状态来逐步扩缩容，现已实现了小时级调度能力和灵活的分配策略。
FPGA卡
FPGA 作为一种高性能、低功耗的可编程芯片，可以根据客户定制来做针对性的算法设计。所以在处理海量数据的时候，FPGA 相比于 CPU 和 GPU，优势在于 FPGA计算效率更高，以相册TPG转码为例，FPGA 卡性能是普通图片处理服务器的10倍，编码延时减少 80%，大幅减少用户等待，采用结合 FPGA 转码卡与 Docker 离线软硬结合，能有效降低转码成本,现已节约了几千台服务器。
成果
项目在上半年完成，现在 TPG 请求量占 80% 以上，节约了 40% 的带宽，存储量减少，节约几千万/年，质量上反而由于文件变小，解码效率提升，用户等待时长减少了 22%。
1.4.3 全类型多场景的图片压缩解决方案
TPG 编码压缩虽然在压缩率上更优，但需要客户端和 PC 具备解码 SDK 才能正常使用，现在推广阶段，现网仍存在很多原图（JPEG、PNG、GIF）请求量。
Guetzli 是 Google 2017 年最新推出的图片压缩格式，比同等质量的 JPEG 节约 30%大小，此算法并没有改变 JPEG 编码格式，只是对数据进行优化缩减，因此编码出来的图片适用于目前已有的解码器。但它的计算开销非常大，耗时不可接受。GPU 相比传统 CPU 具备高并发的图片类计算能力，Guetzli & GPU可大幅减少压缩时间到可接受范围。现在已有一些场景（漫画）在用这种方式。
HEIF 是 H.265 标准的建议格式，比 JPEG 小 40%，苹果 iPhone7 升级 IOS 11 以上拍摄直接生成的是HEIF格式，同等质量文件大小和TPG差不多。腾讯的图片平台支持这种格式的存储和请求返回，只需客户端请求上做改造即可。相册、微云都已使用，如果两个 iPhone7（IOS11）用户互发本机拍摄的图片（HEIF 格式），则无需转码可比原 JPEG 图节约 40% 以上的流量和存储，在其他不支持的客户端下载时需转码为其他格式。所以针对部分苹果用户体验更好，要成为主流还有待普及。
经过三年的积累腾讯搭建了一套全类型多场景的图片压缩解决方案，根据用户客户端情况返还最优的图片格式，降低业务接入门槛，如下右图。
带宽优化实战案例-视频
(2) 点播类小视频
2.1. 冗余下载
原来 QQ 空间的小视频播放没做任何限速，一旦开始播放就会以用户最快的速度进行下载，一个小视频文件长度大约 80s，在正常网速下不到 20s 就可以下载完成，但往往用户并没有完整看完每个视频，数据显示空间用户的平均播放时长是只有 23s，下载但没有播放的视频浪费了用户和企业的流量。这种情况很普遍，比如 QQ 音乐里也一样，一首歌平均时长接近 4 分钟，高品质音质文件大小是 9M，下载完一首歌只需要 4s 不到，但经常发生刚听完前奏感觉不对胃口就切歌了。还有一种场景，在QQ里的长视频（大于 10s）需要先全部下载完才能播放，用户在对话框里收到一个视频，点击后往往要转菊花，等下载完一点开发现其实已经看过或并不感兴趣，这种情况还浪费了用户宝贵的时间，体验更不好。
2.1.1. QQ 空间小视频限制下载速度
对空间的小视频控制下载速度，先尝试限制下载永远只比播放多 40s，卡顿率在1.2%，然后将 40s 改为 20s，卡顿率上升到 2.1%，持续验证，最后调整在 20s。如果用户网速太差，发生二次缓冲则不限速。
2.1.2. QQ 长视频实施边下边播
针对 QQ 的长视频启用边下边播策略，用户点击视频后先全速缓冲 20s 然后再以文件码率进行下载，看一秒下一秒，关闭播放就停止下载。不需要等下载完才能播放，用户平均等待时间从 12.6s下降到了 1.77s 左右，极大地提升了用户体验。现在边下边播已经成了腾讯视频业务的标配，措施完成后，冗余下载比从 65% 下降到 35% 左右。
2.1.3. 空间小视频历史优化策略
关闭自动播放
过去 2 年空间小视频播放量一直在上涨，造成外网带宽流量也一直上涨，17 年以前已经做的优化手段有“高峰期关闭自动播放“（用户点击才播放，但现在来看只要在WiFi 环境下自动播放用户体验更顺畅，所以也切回去了）。
限制大文件转发次数
分析下载日志文件大小，有很多大于 1G 以上的文件，这种大文件往往是盗版电影，产品不希望空间是传播盗版电影的平台，所以限制了大文件转发次数。
提高安全打击准确率和及时率
小视频的头部效应非常明显，少量热点视频就占播放量 50% 以上。当时传播比较火的有色情暴力和搞笑，针对色情暴力提升安全打击的准确率和及时率。
降码率
搞笑的很多都是小猫小狗，场景比较简单，当时我们认为这类视频流畅比清晰度更重要。所以可以适当的降低清晰度（码率），于是系统根据热度，对每小时 TOP2000的热点视频后台压缩出低码率进行播放，节约了大量的带宽。
2.1.4. 空间小视频H.265技术选型
码率太低，质量变差
码率是数据传输时单位时间传送的数据位数，同一种编码格式下码率越高越清晰，当时空间热点视频码率压缩到 300kps，不到现在普通手机拍摄的 1/3。码率降到肉眼可识别的程度后用户体验就会变差。但业务持续上涨，需要既节约带宽又保障质量，所以考虑使用新一代视频编码标准 H.265 来提升压缩率。
新一代编码标准H.265
H.265（又名HEVC）是 2013 年 ITU-T VCEG 继 H.264 之后所制定的新的视频编码标准，仍然是采用块的编码框架，块的大小从 16*16 变大为 64*64，但对比 H.264 创造性采用四叉树架构，以及采用编码单元CU、预测单元PU，变化单元 TU，极大地提高了压缩效率，帧内预测方向从 9 个扩展到 35 个，获得更好的预测特性，相比H.264压缩率提升 40%。
16年当时公司没有业务尝试，除了专利风险外，由于H.265计算复杂度远高于H.264，编解码都需要硬件在性能上支持。
硬解 & 软解
解码有硬解和软件两种，硬解码是使用播放设备（手机和电脑）的硬件解码，比如通过专用的DSP内核解码芯片的功率更低，解码效率更高，现在支持硬解码的手机比例大概在 70%。安卓客户端复杂，不确定是否支持解码。
不具备专用硬件就只能通过软件利用 CPU 解码，软解由于要妥协解码设备的通用性，所以算法上对效率和质量有折扣，相比硬解更耗时，容易造成手机发热和耗电。
微信占用户耗电排行很高，对发热和耗电量都极为敏感，就不适合软件方案。视频普遍比较短才十几秒的话，解码耗时也会影响用户体验。
我们看 QQ 空间是怎么做的？空间在后台搭建转码能力，客户端维护一套自动更新的机型库，综合 H.265 的不同分辨率对不同手机性能进行自动打分，并动态更新，数据显示 95% 以上的手机是支持H.265软解，于是先上线软解方案，并开发了一套云适配的后台兼容方案，可以根据不同的客户端请求尽量给用户下发最适合的码率（高、中、低），尽量让更多人用到。
硬解比软解能减少用户终端 CPU 占用、降低系统开销、减少耗电和发热，所以现在要做软硬结合。经过一整年的运营，整体H.265播放占比从 8% 提升到现在的 30%，压缩比最高 40%。卡顿率没有下降，反而提升，用户体验更流畅。
(3) 实时音视频
3.1. QQ 会议视频混音
视频里还有一种场景是实时音视频通话类，比如 QQ 会议视频，以往会都是有几个人同时说话，接收方就接收几路音频，然后在客户端进行混音操作。混音是把多种来源的声音整合至一个立体音轨或单音音轨中。
3.1.1 客户端混音改为后台混音
所以如果能够在服务端将一个房间所有的用户声音先混成一路再下发话将大大减少我们和用户的下行带宽，实际上线后节省近 50% 带宽。
3.1.2 节省混音计算资源
另外，由于混音比较消耗计算资源，一方面对混音编码性能进行优化，一方面对用户的房间数进行性价比分析，对房间数 3 以下的不混音。
3.1.3 质量跟踪
优化过程中也通过质量评分系统，对用户质量进行监控。质量随着混音灰度逐步微升。
(4) 直播优化
下图是企鹅电竞正在直播的一场吃鸡，可以看到房间在线人数非常高，清晰度有高清、超清和蓝光，带宽成本一直很高
今年春节期间 NOW 直播的答题业务非常火，每天晚上 8 点会在指定房间出题，观众答对可以瓜分每天 100 万的奖金，最高峰值有 90 万观众同时在线，假设平均码率1M，峰值会有 900G 的带宽，成本非常高。
SNG直播业务很多，根据每个产品不同特点，分别做了不同的优化。
空间直播是熟人社交，房间人数普遍很少，低于 10 人，小房间走 OC 回源率非常高，浪费 CDN 分发资源，所以使用IP直连方式。
NOW 直播的房间稍大（一般数十人到数百人不等），但音频走的DC带宽，OC带宽单价是 DC 带宽的 1/2 还低，所以就推进 DC 转 OC。
前面分享了点播类视频使用 H.265 编解标准节省 40% 的带宽和存储，直播由于实时性要求更强，所以结合 GPU 提高转码性能，GI1（2 块卡）的转码性能是普通24核的CPU 的 9 倍，但采购价格仅是普通 CPU 的 1.6 倍。
分析企鹅电竞的房间大小，Top300的大主播占据了 61% 的用户，考虑转码资源性价比，只对 Top300 的主播进行H.265优化。几万元采购 GI1 设备，可节约成本 600万元/年的带宽，也为非 WiFi 环境下的用户节约了流量。
和点播不同，大主播的设备和网络比较好，一般采用主播上行推2路流，一路H.264 (考虑低端手机硬解能力），一路 H.265。小房间考虑到主播上行带宽限制和转码计算成本，就只出一路 H.264.
NOW 直播答题房间主播同时推 H.264 和 H.265 两路流可以节约总体 30% 带宽，可优化力度很大。
(5) 精细化码率优化
带宽优化案例还有很多，结合产品特色各有千秋，就不一一列举了，下面我们看一下现在视频优化的方向
5.1. 动态码率
码率控制有三种：恒定码率（CBR）、平均码率（ABR）、动态码率（VBR），一般使用的平均码率。但平均码率有很多弊端。
5.1.1. 根据预测用户网络质量变化
不同的用户网络质量不同，同一个用户网络质量也会发生变化。所以可以对用户网络质量变化进行预测，如果用户网络要变差，则下一帧切换到低码率流。
5.1.2. 根据内容分类
不同的视频内容需要的码率是不同的，比如体育NBA类就比连续剧需要的码率高，可以在视频上传时进行标签分类，然后给与不同的编码参数，腾讯视频使用这个策略后整体码率节约 10%。
5.1.3. 根据场景不同
但同一个视频里也会出现不同的场景，比如打斗需要的码率要比风景高，可利用深度学习对场景进行分类，在转码时给与不同的编码参数。
5.2. 根据ROI特征提取，对人眼感兴趣区域重点编码
人眼一般对人物特别是人脸区域的注意力要大于其他区域，比如看下图是斗鱼一姐冯提莫的直播画面，可以对人脸重点编码、对人身体和衣服次重点增强、对其他区域适当减弱的策略来转码。
5.3. 自适应分辨率
动态码率是在用户网络条件允许的情况下，找编码码率的最优解，而如果用户网速限制，但又想为用户提升清晰度的话，可以用自适应分辨率的方式。在相同播放窗口下（显示分辨率相同），相同码率下不同编码分辨率的质量PSNR是不同的，所以在固定码率和显示窗口下，有最佳编码分辨率。比如用户选择高清，用户带宽限制码率在1.2M，在这个基础上可以找到适合用户网速的最佳编码分辨率进行编码。
AI在成本优化中的应用
小马哥说过在腾讯 AI in every thing，AI运维也超级火，AI如何运用在带宽优化上呢，现在来看落地的有压缩和安全打击两个方向。
(6) 图片超分辨率-QQ相册
去年 QQ 相册大图使用了基于深度神经网络超分辨率技术。在图片无损的情况下可节约 75% 的流量和存储空间。运用手段是先把图片像素压缩一半，图片 SIZE 压缩到原来的 1/4，再使用算法进行还原，达到跟原图相当的清晰度，肉眼无法识别，但图片大小仅是原图的25%。这项技术不仅可以降带宽，也可以用于提高用户体验。
和业界领先的 Google Raisr对比，PSNR（峰值信噪比）更高，也就是失真更小，压缩性能耗时更低。
具体的模型训练，先采用 1W 张用户真实图片,通过调整图片颜色,高度,对比度,施转,左右反转等操作构造上百 W 个用户训练样本集。采用压缩的方法将训练样本图片宽高各压缩到原来的 1/2，这部分图片经过超分处理后再与原来的图片的效果进行比较，根据对比效果进行调整模型参数。
与业界的训练该方法不同，除了对比图片的损失（PSNR）外，同时引入了可视化评测系统，峰值信噪比是一种评价图像的客观标准，PSNR 值越大，就代表失真越少，越高越好，但它具有局限性，比如人肉眼对于面部会更在意。使用用户的真实图片进行可视化评测可达到更佳的超分效果。
(7) AI&安全打击
空间上小视频色情问题一直在存在而且不断出现对抗的原因主要是：量级比较大，资源有限很难全量鉴黄，黑产恶意不断对抗，去年就出现了大量栅格、星星等干扰，传统的鉴黄手段失效；空间准入门槛低，UGC（用户原创内容）有留存功能，很方便当成网盘使用；空间分享功能灵活，可以分享到 QQ，微信，朋友圈等。涉黄视频大多是带有引流信息，空间是网盘，分享是途径，赢利点是在 QQ 群付费或者微信群红包、赌博群等。
7.1 深度学习模型提升格栅识别能力
针对以上的分析，首先引入新的打击手段。首先要提升格栅干扰后的识别能力，腾讯安全部门用卷积神经网络 CNN 搭建了新的打击模型，输入大量的格栅模板进行训练后，识别能力相比之前大大提升，和现网结合，不断及时添加新的干扰模版种子，边使用边训练的模式，模型上线后每日点击量 TOP1000 里黄色占比 从 25% 下降到 5%。极大地提升的产品的形象和口碑。
7.2 OCR 提升招嫖识别能力
很多招嫖类会在美女图片上配有联系方式的文字，可以使用 OCR 技术（光学字符识别），通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程，简单的说就是可以提取图片上的文字，可以有效打击招嫖类。
7.3 传统打击手段弊端
The traditional attack method includes behavioral cluster analysis. For example, 90% of pornographic-related files are from sharing, so reduce the expected value of the shared attack and focus on the attack; through the business security of the Tianxiang system, the status of account maintenance, the historical violation records of Principal's credit, Users' batch publishing/sharing behaviors, delineate suspicious users, focus on monitoring suspicious users, and reduce the attack value.
However, the disadvantages of these traditional methods are that users can easily change them at will, and the seed coverage rate of MD5 seed bank is low, and the efficiency of manual review is low. Now with the help of AI, after a new round of crackdowns, the video bandwidth of Space and QQ has dropped significantly in October last year.
Summary Methodology
Combined with these practical cases, bandwidth optimization can be summarized as one small, two small, three unchanged. Smaller file compression, fewer downloads, fewer redundant downloads, and the same quality. There are many commonly used management and technical means as follows.
Five steps can be used in the optimization process:
Clarify the composition of resource consumption, in which scenarios, how many entrances, and model resource usage;
Focus on the big and let go of the TOP modules of resource consumption, and solve the main contradiction first;
Realize the architecture and algorithm, understand the product strategy, understand the reasons behind the technology selection and industry trends;
Product strategy and technology are combined;
There may be new changes in product form and industry technology every month, so the dynamic operation is persistent.
Another very painful scenario for business operation and maintenance is to make budgets, and use refined cost management ideas to make bandwidth prediction and optimization models for products. Because data will change, data can be collected, and the system can automatically count bandwidth budgets and rationality analysis.
Epilogue
Operation and maintenance create greater value for enterprises, and use technical means to provide users with low-cost and high-quality product experience. If this can be achieved, then operation and maintenance will be more valuable to enterprises.
GOPS2018 Shenzhen Station wonderful PPT (continuously updated)
Link: https://pan.baidu.com/s/1zgOGm7CabpO6lIquNVcNkg
Password: sp76
For more exciting content, please visit Gaowei Online: www.gaowei.vip
END
Theoretical exploration, in-depth practice, experience sharing
The most important DevOps technology feast in 2018
DevOps International Summit fully launched
In 2 days, we will present you the practical experience and tool technology of Internet companies and overseas enterprises, focusing on the systematic practice of DevOps in finance, communication, retail and other industries. It is not empty talk! Don't be rude! Focus on DevOps landing!
Scan the QR code to enter the official website of the conference
Click to read the original text, more exciting ⬇️