文娱妹导读
如何来衡量测试有效性，评估体系的建设中有哪些坑和重点？本文分享优酷客户端测试有效性评估能力建设经验，如何辅助测试人员调整方向和策略。
本系列文章将陆续发布，感兴趣的朋友持续关注！

背景

移动互联网浪潮中，To C的移动应用迭代速度非常之快，应用的玩法也是层出不穷，那么相应的对于应用质量的保障也提出了更高的要求：响应迅速、目标明确、手段有效等。质量保障团队为了更好地达成上述要求，需要制定一系列的流程、系统或者工具来辅助测试的展开，但无论测试侧要建立的是什么，都有一个明确的原则贯穿始终，即有效性（由于流程、系统或工具等都用于测试，也称为测试有效性）。
那么如何来衡量测试有效性变得尤为重要，其评估体系的建设则是重中之重。本着从实践中来到实践中去的原则，建设了优酷客户端测试有效性评估能力去辅助测试人员调整测试方向，改变测试策略等。

方案选型

不同团队会定义自己的规则去衡量测试有效性，这些规则几乎包罗万象，例如：Bug数量和趋势、测试用例的评审、测试策略的评审亦或代码覆盖率的数据等等。
评价测试的有效性是无法脱离开发的实现及项目的上下文的，测试从来就不是独立存在的，测试和开发密不可分。
结合优酷质量保障体系的现状，我们优先选择最直接的，也最能从数据化的角度评估测试有效性的规则入手：即代码测试覆盖率。
代码测试覆盖率工具（Android端）

JaCoCo - 通过代码注入的方式来实现获取覆盖率的功能
优酷内部覆盖率采集工具 - 优酷自研的类覆盖统计工具

【工具对比】

工具名称	代码侵入	性能损耗	可否用于灰度发布	统计范围
JaCoCo	需要侵入并针对每个模块进行打包	性能损耗较大，可以会引入非功能性bug	不可以用于灰度发布	模块、类、方法和行级别
优酷内部覆盖率采集工具	无代码侵入且无须进行单模块重新打包	几乎无性能损耗，不会引入额外bug	可用于灰度发布，用户无感知	模块和类级别