首先上一张图，来自今日头条创始人、CEO 张一鸣（工程师出身）在今日头条发生监管问题之后的致歉和反思，表示内容审核团队要扩编 4000 人，再结合 Facebook 、Youtube 等公司的做法，我们可以得到启示：人是内容审核的核心，但系统同样不可或缺，通常是机器初筛划范围，再由人工复核。审核管理的流程，是人根据 UGC 产品特点、业务目标和监管需求，制定审核策略（判断用户是否可信、内容是否合格），再将策略程序化、产品化（比如敏感词过滤），机器过滤剩下的以及用户举报的内容由人工来处理，最后呈现出来的是高质量的内容。
人工对复杂内容判断更准确，但效率低，成本高（那个招聘公告说“每个员工每天需要审核1000条左右内容”，但这个数量远远小于大型 UGC 平台的内容生产数量）；机器可以 24 小时工作，速度快（一秒钟就能处理100篇文章），但算法的智能程度还有待提升（即便在优化目标符合正确的价值观的情况下）。要保留多少人力，一看产品的规模与影响，二是看算法的智能程度。算法的水平不仅仅取决于算法工程师的水平，更取决于数据积累。
注意以下几点，可以让内容审核管理更高效：
- 一是用户分级，把工作重心放在风险更高的用户群上；
- 二是内容过滤系统与时俱进，能搞定文本、图片、视频、音频等；
- 三是分级处理，比如视严重程度决定禁言还是封号，既达到惩戒的效果，又不影响 UGC 内容生产积极性。
- 四是积累数据，用来训练机器，让算法更加准确。不管用户特征的准确分析，还是内容性质的精准识别，数据的积累都是非常重要的，比如网易云反垃圾系统，基于20年反垃圾特征数据沉淀及云计算资源，海量垃圾特征实时更新，才能为网易云音乐、网易新闻等业务快速过滤各种有害信息。
网易云基于 20 年专业的反垃圾经验，为客户提供极速智能的广告过滤、智能鉴黄、暴恐识别、涉政检测云服务，助力打造互联网纯净内容生态，覆盖文本、图片、视频、音频过滤，识别率 99.8% 为业界领先水平，欢迎感兴趣的朋友免费试用。