[测试]那些所谓的自动化啊

测试是软件制造过程中很重要的一个环节,
很多NB的厂家为了宣传自己的质量或者效率或者技术,都喜欢鼓吹自动化测试.

啥是自动化?
啥能自动化?
为啥要自动化?
啥时候不要自动化?

很多家伙没考虑清楚这几个问题就走向了大规模分布式云自动化测试的不归路.

目前IT业产品无非分为:
1.c/s产品,以windows平台为主,unix系列和手机平台占少数
2.b/s产品,以ie和firefox为主,chrome和safari占少数

我就说说这两种产品类型的自动化测试.


1.啥是自动化?
这篇文章针对的自动化是指模拟手工测试人员的动作和指令,
对测试行为的记录和回放.
这个测试要和单元测试,接口测试甚至性能测试区分开来.
这是功能测试的自动化,不是代码和接口级别的,这两种很容易自动去跑测试任务,
更不是性能测试,性能测试不太需要自动化,那个需要有人认真的冷静的观察,自动化了反而不好.

2.啥能自动化?
a.c/s产品:
用过qtp么?用过autoit么?用过ahk么?
知道窗体,知道控件,知道消息么?
如果都有了解,那就大概能知道什么东西可以自动化测试了.
上面说过,自动化测试主要是模拟功能测试人员的行为,
从程序上实现这种行为就是:
识别控件,发送消息,监听事件,判断结果.
其中最难的是识别控件,不是说技术上难,所有的技术都是简单的!
是有的控件就是不能识别,你又有什么办法?
MS很人性化,他的sdk很多很多控件几乎都可以识别,
而如果你们自己公司的一款c/s产品的控件无法识别,那你就要思考你们公司和MS的差距了,
为啥自己写的控件无法识别?
因为你们的规范太差,或者不够人性,或者就根本不考虑可测试性,
在程序上来说就是没有实现: IAccessible接口!
这个接口是干嘛的?如果不知道,你需要去了解一下MSAA(Microsoft Active Accessibility)
如果没有实现这个标准的接口,当然就很难用QTP或者AutoIT这种常规的测试工具去测试了(开发时留了钩子的除外),
也就是说这个产品从设计的时候就没有考虑到自动化测试的可测性,那还做个屁的自动化?
如果决定要对一个产品做自动化测试,那请在设计的时候就考虑周全,
不要为了节省开发人员的工时而不实现IAccessible接口,
却要求测试人员能够做自动化的测试.

我经常听到不专业的家伙说,我们要对这个或那个产品做自动化测试,但哥哥,你能不能先考虑一下这玩意到底能不能做自动化测试啊?

b.b/s产品,
知道watir或者watix么?知道selenium吗?甚至知道LoadRunner也行啊,道理都是相通.
再不行,知道如何attach一个浏览器进程,然后获得它的JavaScript引擎的console么?
如果知道这些,那也就了解一个b/s产品做自动化测试的大概原理了.
b/s做自动化测试比c/s更通用点,因为浏览器上的按钮都比较好识别,
工具以watir为例,
Watir的IE对象是通过WIN32OLE获得InternetExplorer.Application这个Windows系统对象,通过起内置的各种方法比如打开一个页面,访问一个url,就可以控制浏览器的行为.而InternetExplorer.Application是怎么对一个页面操作的,这个我不清楚,只知道它提供这些接口,而Watir又包了一层接口给使用者.
再看一下FireWatir的FireFox对象,它和IE对象不同, FireFox对象不是通过WIN32OLE方法得到系统浏览器对象的,而是通过在FireFox浏览器上安装jssh的插件,获得浏览器的JavaScript引擎的访问权,从而通过当前运行页面的JavaScript来控制页面动作的.
从FireFox发散出去,我猜InternetExplorer.Application对外开放的接口也可能就是通过InternetExplorer.Application封装了它的JavaScript引擎来实现的.

我们知道了b/s产品自动化执行的原理后,我们就可以知道,只要JavaScript能处理的动作,我们都可以通过自动化来模拟.
但PM或者要求测试进行自动化的人,他一定要知道哪些是JavaScript做不来的,
比如Flash,比如SilverLight,这些产品目前还没有直接开放对象的接口给JavaScript,这就不能做自动化测试.

3.为啥要自动化测试?
这个问题很简单,因为要提高效率,降低出错率,减少重复劳动,降低成本.
提高效率:代码执行测试比人工执行更快.
降低出错率:计算机的行为比人类的行为更单一,多次执行很少会出现不同的结果.
减少重复劳动:自动化测试主要是回归测试,就是将以往主要的测试脚本或者叫回归测试脚本跑一边,员工对重复劳动是没有兴趣的,而计算机不会有抵触情绪.
降低成本:自动化测试的时间可以在员工下班之后,而如果要求员工在下班后还工作那是不人性不和谐的.

4.啥时候不要自动化?
有的东西可测试有的东西不可测试,把不可测试变成可测试是需要成本的,
自动化测试的代码更多的依赖于界面的UI和文案,而UI和文案是多变的,所以维护自动化测试的代码也是需要成本的,
如果我们把一个手工测试人员当作一个进程(因为一台电脑上的b/s或者c/s产品正常的时候只会有一个用户在使用),但自动化测试要求更快更高效率的时候,会希望自动化测试用例能够并发进行,也就是同时需要多台自动化测试的客户端,这些客户端是需要调度和管理的,这就还需要一个管理平台,同时负责测试环境的维护,开发代码的及时更新与部署,以及自动化测试数据的自动生成,这些也都要成本的.

而自动化测试带来的收益是否会大于这个成本是需要好好考虑的,甚至是需要找一两个项目去实践的.
就我个人来看,一个中小公司,人肉测试的成本要小于自动化测试的成本.尤其是在这个小行业还没有被重视和深入挖掘的现在.


我了解过一些很大的公司的一些自动化测试框架,
这些东西听起来真得很吓人,但如果你自己问下去,他们说不出个所以然,
其中绝大多数都是用了这个东东那个东东,然后整体包装一下,
底层实现的细节他们都不了解,并没有掌握核心技术,
只掌握工具的使用是肤浅的,正应了那句话"无他,唯手熟耳"