软件测试基础篇

软件测试的定义

• 证明软件不存在错误的过程
• 证明程序能够正确运行的过程
• 验证软件功能是否满足用户需求的过程

软件测试的定义随着发展而不断扩展，但软件测试最基本的活动就是找bug。

不同的定义只是说明了测试的目的以及如何来衡量测试是否成功。

软件测试的发展

1. 软件调试
2. 独立的软件测试（1950~）
3. 软件测试的第一次定义（1973~Bill Hetzel），软件测试就是对程序能够按预期的要求运行建立起一种信心
4. 软件成为专门的学科（1980~）
5. 开发与测试的融合（2000~）

测试与调试的区别

• 目的不同
  测试的任务是发现程序中的缺陷；调试的任务是定位并且解决程序中的问题。
• 参与角色不同
  测试主要是由测试人员和开发人员来执行，黑盒测试主要由测试人员完成、单元/集成测试主要是由开发人员执行。调试由开发人员完成。
• 执行的阶段不同
  测试贯穿整个软件开发生命周期，调试一般在开发阶段。

软件测试的目的和原则

目的：验证软件有或没有问题。
原则：以客户为中心，遵循软件测试的规范、流程、标准和要求。

通过分析错误产生的原因、阶段及错误发生的趋势。测试可以：

• 帮助项目管理者了解当前软件开发过程中的缺陷，以便及时纠错、改进。
• 帮助测试人员设计出有针对性的测试方法，改善测试的效率和有效性。
• 让开发人员知道错误产生的重灾区，加强自测试。
• 让客户清楚我们可以向他们提交一份满意的答卷。

根据测试的目的，测试可以分为两类：

• 为了验证程序能正常工作的测试；
• 为了验证程序不能正常运行的测试

测试用例

测试过程中可能会遇到以下问题：

• 不知道是否较全面的测试了所有功能
• 测试的覆盖率无法衡量
• 对新版本的重复测试很难实施
• 存在大量冗余测试,影响测试效率

测试用例的产生就是为了解决上诉问题。

测试用例（Test Case）是为了实施测试而向被测试的系统提供的一组集合，这组集合包含：测试环境、操作步骤、测试数据、预期结果等要素。

开发模型和测试模型

瀑布模型（Waterfall Model）

瀑布模型在软件工程中占有重要地位，是所有其他模型的基础框架。

优点：

• 强调开发的阶段性；
• 强调早期计划及需求调查；
• 强调产品测试。

缺点：

• 依赖于早期进行的唯一一次需求调查，不能适应需求的变化；
• 由于是单一流程，开发中的经验教训不能反馈应用于本产品的过程；
• 风险往往在后期的测试阶段才显露，因而失去及早纠正的机会。在前期阶段未发现的错误会传递并扩散到后面的阶段，而在后面阶段发现这些错误时，可能已经很难回头再修正，从而导致项目的失败。
• 可以运行的产品很迟才能被看到。这会给项目带来很大的风险，尤其是集成的风险。

在瀑布模型中，测试阶段处于软件实现后，这意味着必须在代码完成后有足够的时间预留给测试活动，否则将导致测试不充分，从而把缺陷直接遗留给用户。

螺旋模型（Spiral Model）

一般在软件开发初期阶段需求不是很明确时，采用渐进式的开发模式。螺旋模型是渐进式开发模型的代表之一。

对于那些规模庞大、复杂度高、风险大的项目螺旋模型尤其适合。

它不允许有一段独立的测试时间和阶段，测试必须跟随开发的迭代而迭代。

优点：

• 强调严格的全过程风险管理。
• 强调各开发阶段的质量。
• 提供机会检讨项目是否有价值继续下去。

缺点：

• 引入非常严格的风险识别、风险分析和风险控制，这对风险管理的技能水平提出了很高的要求。这需要人员、资金和时间的投入。

增量、迭代

• 增量开发能显著降低项目风险，结合软件持续构建机制，构成了当今流行的软件工程最佳实践之一。
• 增量开发模型，鼓励用户反馈，在每个迭代过程中，促使开发小组以一种循环的、可预测的方式驱动产品的开发。
• 在这种开发模式下，每一次的迭代都意味着可能有需求的更改、构建出新的可执行软件版本，意味着测试需要频繁进行，测试人员需要与开发人员更加紧密地协作。
• 增量通常和迭代混为一谈，但是其实两者是有区别的。增量是逐块建造的概念，而迭代是反复求精的概念。

敏捷

• 个体与交互重于过程和工具
• 可用的软件重于完备的文档
• 客户协作重于合同谈判
• 响应变化重于遵循计划
• 在每对比对中，后者并非全无价值，但更看重前者。

敏捷开发有很多种方式，其中scrum是比较流行的一种

scrum

scrum里面的角色和作用

scrum由product owner(产品经理)、scrum master(项目经理)和team(研发团队)组成。

• product owner负责整理user story(用户故事)，定义其商业价值，对其进行排序，制定发布计划，对产品负责。
• scrum master 负责召开各种会议，协调项目，为研发团队服务。研发团队则由不同技能的成员组成，通过紧密协同，完成每一次迭代的目标，交付产品。

迭代开发与瀑布不同，scrum将产品的开发分解为若干个小sprint(迭代)，其周期从1周到4周不等，但不会超过4周。参与的团队成员一般是5到9人。每期迭代要完成的user story是固定的。每次迭代会产生一定的交付。

scrum的基本流程

• 产品负责人负责整理user story，形成product backlog。
• 发布计划会议：product owner负责讲解user story，对其进行估算和排序，发布计划会议的产出就是制定出这一期迭代要完成的story列表，sprint backlog。
• 迭代计划会议：项目团队对每一个story进行任务分解，分解的标准是完成该story的所有任务，每个任务都有明确的负责人，并完成工时的初估计。
• 每日例会：每天scrum master召集站立会议，团队成员回答昨天做了什么今天计划做什么，有什么问题。
• 演示会议：迭代结束之后，召开演示会议，相关人员都受邀参加，团队负责向大家展示本次迭代取得的成果。期间大家的反馈记录下来，由po整理，形成新的story。
• 回顾会议：项目团队对本期迭代进行总结，发现不足，制定改进计划，下一次迭代继续改进，已达到持续改进的效果。

敏捷中的测试

挑战1：轻文档
挑战2：快速迭代

• 测试工作的核心内客是没有变的，就是不断地找Bug，只是要调整好自己的心态，一切以敏捷的原则为主。
• 测试人员不能依赖文档，测试用例作用减弱，更多的采用思维导图、探索性测试（强调自由度，设计和执行同时执行，根据测试结果不断调整测试计划）、自动化测试
• 敏捷讲求合作，在敏捷项目组中，测试人员应该更主动点，多向开发人员了解需求、讨论设计、一起研究Bug出现的原因。

软件测试v模型

V模型目的是改进软件开发的效率和效果，是瀑布模型的变种。

• 明确的标注了测试过程中存在的不同类型的测试，清楚的描述了这些测试阶段和开发过程期间各阶段的对应关系。
• 单元和集成测试应检测程序的执行是否满足软件设计的要求；系统测试应检测系统功能、性能的质量特性是否达到系统要求的指标；验收测试确定软件的实现是否满足用户需要或合同的要求
• 局限性:仅仅把测试作为在编码之后的一个阶段，未在需求阶段就进入测试

软件测试w模型

• W模型增加了软件各开发阶段中应同步进行的验证和确认活动。W模型由两个V字型模型组成，分别代表测试与开发过程，图中明确表示出了测试与开发的并行关系。
• W模型特点：测试的对象不仅是程序，需求、设计等同样要测试，测试与开发是同步进行的
• W模型优点：有利于尽早地全面的发现问题。
• 局限性：需求、设计、编码等活动被视为串行的；测试和开发活动也保持着一种线性的前后关系，上一阶段完全结束，才可正式开始下一个阶段工作。无法支持敏捷开发模式。对于当前软件开发复杂多变的情况，W模型并不能解除测试管理面临的困境。

配置管理和软件测试

配置管理

配置管理( Configuration Management)是通过对在软件生命周期不同的时间点上的软件配置进行标识，并对这些被标识的软件配置项的更改进行系统控制，从而保证软件产品的完整性和可溯性。

软件配置管理的应用

软件开发过程中会产生大量软件产品（包括文档、源代码和数据等），这些产品之间存在关联关系。同一软件产品也会发生变更，从而产生许多版本。软件开发小组必须清晰地知道会有哪些产品、这些产品会有哪些不同的形式和版本。开发小组必须清晰地知道如何将产品的变更通知给受影响的小组。如果不能有效地了解软件产品及其变更，开发小组将很难组装这些软件产品，很难得到所需的软件产品。

实施软件配置管理(SCM)的好处

• 对项目中的文档、代码等的变化进行有效管理。
• 方便地重现某个文件的历史版本。
• 能够重新编译某个历史版本，使维护工作变得容易。
• 能够使异地多团队开发、并行开发成为现实。
• 能够提高项目组间人员流动时的工作效率。

配置管理与软件测试

测试人员是SCM中的参与者。如果配置管理流程不规范，或者没有遵循一定的配置管理流程进行软件测试活动，也可能导致很严重的后果。

假设开发人员修正了一个Bug，然后找测试人员讨论，测试人员在开发人员的机器上重新测试了一下，发现Bug没再出现了，修复了，这时候，如果测试人员把缺陷关闭了，则可能导致缺陷莫名其妙地在用户那边又出现了。其实，原因可能仅仅是开发人员把这个Bug修改的代码没有提交的到配置管理数据库中。但是作为测试人员有没有责任呢？当然有，因为测试人员也没有按照规范的配置管理流程执行测试，测试人员应该从配置库取源代码编译后再测试，只有看到新的构建版本不再出现那个Bug，才能把缺陷库中的Bug关闭。

软件测试的生命周期

软件生命周期是指从软件产品的设想开始到软件不再使用而结束的时间。
如果把软件看成是有生命的事物，那么软件的生命周期可以分成6个阶段，即需求分析、计划、设计、编码、测试、运行维护。

软件测试的生命周期：需求分析→测试计划→测试设计、测试开发→测试执行→测试评估

• 需求阶段
  测试人员了解需求、对需求进行分解，得出测试需求
• 计划阶段
  根据需求编写测试计划/测试方案
• 设计阶段
  测试人员搭建测试用例框架，根据需求和设计编写一部分测试用例
• 编码阶段
  测试人员一般是不需要编码的，但已经编码的模块，专业的白盒测试人员可以计划执行单元测试，完善、细化测试用例以及调整测试计划和方案。
• 测试阶段
  测试人员根据测试用例和计划执行测试，在执行的过程中记录、管理缺陷，编写测试报告。
• 运行维护
  测试人员需要参与项目的实施工作。参与用户使用软件的培训，在试运行项目时收集问题并及时反馈给相关负责人。

bug

凡是实现效果和需求不相符的都可以认为是BUG。

BUG的后果: 用户流失, 绩效血崩。
BUG的责任: 程序猿一定是第一背锅侠，特定情况下, 测试才会分锅。
BUG的处理: 生产环境上的问题,，要第一时间回滚,，再慢慢定位。
BUG的态度: 心存敬畏,，但是不要害怕。

第一个bug ：

1945年9月的某天，在一间老式建筑里，从窗外飞进来一只飞蛾，此时Hopper正埋头工作在一台名为Mark Il的计算机前，并没有注意到这只即将造就历史事件的飞蛾。这台计算机使用了大量的继电器（电子机械装置，那时还没有使用晶体管）。突然，Mark II死机了。Hopper试了很多次还是不能启动，他开始用各种方法查找问题，最后定位到了某个电路板的继电器上。Hopper观察这个继电器，惊奇地发现一只飞蛾已经被继电器打死。Hopper小心地用镊子将飞蛾夹出来，用透明胶布贴到“事件记录本”中，写上“第一个发现虫子的实例”。Hopper的事件记录本，连同那只飞蛾，现在都陈列在美国历史博物馆中。

软件错误：程序与规格说明之前不匹配。
准确的来说：当且仅当规格说明是存在的并且正确，程序与规格说明之间的不匹配才是错误。
当没有需求规格说明书时，判断标准以最终用户为准，当程序没有实现其最终用户合理预期的功能要求时，就是软件错误。

描述一个bug

一个合格的bug描述应该包括以下几个部分：

• 发现问题的版本
  开发人员要知道出现问题的版本，才能够获取对应版本的代码来重现故障。版本的标识也有利于统计和分析每个版本的质量。
• 问题出现的环境
  环境分为硬件环境和软件环境，如果是web项目，需要描述浏览器版本，客户机操作系统等，如果是app项目，需要描述机型、分辨率、操作系统版本等。详细的环境描述有利于故障的定位。
• 错误重现的步骤
  描述问题重现的最短步骤。
• 预期行为的描述
  要让开发人员知道怎么样才是正确的，尤其要以用户的角度来描述程序的行为是怎样的。如果是依据需求提出的故障，能写明需求的来源是最好的。
• 错误行为的描述
  描述错误的现象。crash等可以上传log，UI问题可以有截图。
• 其他某
  些公司会有一些其他的要求，例如故障的分类：功能故障，界面故障，兼容性故障等。有些有优先级的分类，严重影响测试需要开发人员优先修改的，可以设置优先级为高。
• 不要把多个bug放到一起
  在无法确认是同一段代码造成的故障时，不要将bug放在一起提交。

bug的级别

1. Blocker（崩溃）
   阻碍开发或测试工作的问题；造成系统崩溃、死机、死循环，导致数据库数据丢失，与数据库连接错误，主要功能丧失，基本模块缺失等问题。如：代码错误、死循环、数据库发生死锁、重要的一级菜单功能不能使用等（该问题在测试中较少出现，一旦出现应立即中止当前版本测试）。
2. Critical（严重）
   系统主要功能部分丧失、数据库保存调用错误、用户数据丢失，一级功能菜单不能使用但是不影响其他功能的测试。功能设计与需求严重不符，模块无法启动或调用，程序重启、自动退出，关联程序间调用冲突，安全问题、稳定性等。如：软件中数据保存后数据库中显示错误，用户所要求的功能缺失，程序接口错误，数值计算统计错误等（该等级问题出现在不影响其他功能测试的情况下可以继续该版本测试）。
3. Major（一般）
   功能没有完全实现但是不影响使用，功能菜单存在缺陷但不会影响系统稳定性。如：操作时间长、查询时间长、格式错误、边界条件错误，删除没有确认框、数据库表中字段过多等(该问题实际测试中存在最多）
4. Minor（次要）
   界面、性能缺陷，建议类问题，不影响操作功能的执行，可以优化性能的方案等。如：错别字、界面格式不规范，页面显示重叠、不该显示的要隐藏，描述不清楚，提示语丢失，文字排列不整齐，光标位置不正确，用户体验感受不好，可以优化性能的方案等（此类问题在测试初期较多，优先程度较低；在测试后期出现较少，应及时处理。

bug的生命周期

测试人员应该跟踪一个Bug的整个生命周期，从Open到Closed的所有状态。

• New:新发现的Bug，未经评审决定是否指派给开发人员进行修改。
• Open：确认是Bug，并且认为需要进行修改，指派给相应的开发人员。
• Fixed:开发人员进行修改后标识成修改状态，有待测试人员的回归测试验证
• Rejected：如果认为不是Bug，则拒绝修改。
• Delay:如果认为暂时不需要修改或暂时不能修改，则延后修改。
• Closed：修改状态的Bug经测试人员的回归测斌验证通过，则关闭Bug。
• Reopen：如果经验证Bug仍然存在，则需要重新打开Bug，开发人员重新修改。
• 无效的bug：open->closed open-rejected-closed

Bug的跟踪以及状态变应该遵循一些基本原则：测试人员对每一个缺陷的修改必须重新取一个包含更改后的代码的新版本进行回归测试，确保相同的问题不再出现，才能关闭缺陷。对于拒绝修改和延迟修改的Bug，需要经过包含测试人员代表和开发人员代表、用户方面的代表（或代表用户角度的人）的评审。