目录
一、测试目的
本测试报告的对象是福大助手app，测试的目的：
- 描述系统是否符合用户需求
- 是否已达到用户预期的功能目标
- 对产品质量进行分析
- 本测试报告也可帮助用户选择app或为开发人员提供项目管理的参考
二、测试环境
手机设备1：红米note4
对应系统1： MIUI 10.1.2.0&Android6.0
手机设备2：iPhone6s
对应系统2： IOS 12.1
辅助测试：Windows 10
三、产品测试功能点：
页面链接检查：每一个链接是否都有对应的页面，页面之间切换正确；
- 功能之间影响：删除/增加一项是否会对其他项产生影响，如果产生影响，这些影响是否都正确；
- 检查按钮的功能是否正确：如新增、修改、取消、保存等功能是否正确；
- 查询功能：分别输入存在和不存在的内容，以测试系统的查询功能是否能显示正确的结果；如果可以输入多个查询条件，同时添加合理和不合理的条件，观察系统处理是否正确；
- 输入信息位置：注意在光标停留之处输入信息时，光标和所输入的信息是否能保持正确的位置，还是会存在错误的跳转；
- 重复提交表单：在退出系统后重复提交表单，观察系统的处理结果；
字符类型检查：在应该输入指定类型内容的地方输入其他类型的内容(如在应该输入整型的地方输入其他字符类型)，观察系统是否检查字符类型，是否会有提示窗口；
四、Bug情况记录
IOS端
- 如果没有对“福大助手”进行日历的授权设置，那么“考场”中的“加入日历”功能无法实现，点击“加入日历”提示“授权失败”的窗口，但是没有引导用户进行授权的窗口；
- “设置”中的“推送”功能没有实现，点击“推送”显示页面后无法操作，所有Switch按钮无效，也无法回退到“设置”界面；
- “一键评议”功能如果输入错误的字符串会多次提示“发送未知错误，评议失败，尝试继续评议”，然后app崩溃；
- “易班工具”中的“辅导员考核”功能，输入“得分”栏的数据为字母或特殊字符（如@、&等）点击“保存”后没有提示“只能输入数字”的窗口，而是直接显示“辅导员考核详情”页面
Android端
- 进入设置页面，编辑侧边栏的时候，要是选择不显示现在所在的功能页面，退出设置之后，还会存在取消的页面，这个是逻辑上不符的。
- “一键xx”功能，如果反复切换评议用途，切换过后的页面刷新初始化十分缓慢，有时出现初始化的情况，“验证码”无论输入的是什么，都能够开始评议。
五、类似产品对比分析
- 福大教务处
- 福州大学教务处官方推出的一款集课表，成绩查询，学业分析，学期选课，空教室查询等多个功能于一体的教务app。但是关于教务通知详情功能，长期处于无法加载情况。
- 福大易班
- 集福州大学学生工作、学习、生活方面为一体的校园服务办理app。（基本上集齐了学校大部分个人日常需要申请办理的事务，但部分功能能否使用/使用感受大家都懂）经常出现登入超时的情况，导致用户无法正常使用。
- 期末考啦
- 面向福州大学的学生学习资料分享软件。内置广告，功能单一。
- 超级课程表
- 以课程表为基础展开的校园实用工具。部分福大学生会使用这个app查看课表。是一个不错的课程表查看软件，但是不能提供适用于福大学生的更多功能。
- 相较之下，本软件博采众长，基本上整合了以上app的核心功能，并且功能使用起来更方便，界面也更美观，也不会像福大易班一样老是会闪退，在功能性和稳定性上有一定的优越性。也提供了校招日历，大物实验和嘉熙讲坛报名等新功能。
六、测试结果与建议
标准兼容性测试
任务列表
| 测试方式 | 自动化脚本执行 |
|---|---|
| 测试内容 | 安装->启动->注册/登陆->UI遍历->卸载 |
| 检查项 | 兼容性问题（安装失败、启动失败、闪退、黑屏&白屏、卡死&卡顿、连接异常、UI异常、其他异常）；性能（安装时延、启动时延、CPU、内存、流量、温度、帧速率） |
| 测试人员 | 毫无经验的小白人员 |
兼容性测试
测试的48款机型以及运行情况，测试通过率为64%
16款机型安装失败
运行失败终端分布
性能概览
安装耗时分析
启动耗时分析
CPU占用率分析
内存占用分析
电池温度分析
部分终端数据
结果概览
安全分析1
安全分析2
分析
【高危】 未防御屏幕录制：在一些涉及隐私的操作界面，屏蔽录屏/截图事件是一个有益于用户的实践。可以在一定程度上避免用户的信息泄露；
【高危】 隐式Intent劫持：APP使用隐式的Intent，存在被恶意三方APP钓鱼的风险
【高危】 不安全Zip文件解压： zip压缩包中的文件名中可以包含“/”所以如果文件名字是包含多个“../”就会造成文件被恶意放置，覆盖掉APP原有的文件
【高危】 未移除测试代码：测试代码的保留会为攻击者了解工程逻辑提供很大的帮助，进而帮助其攻击APP对用户/开发商造成不必要的损失。
【高危】 未关闭备份模式：APP 开启了数据备份和恢复的功能时，可通过 ADB 备份数据，存在信息泄露的风险。
结语
根据以上的测试结果，福大助手app在界面UI上存在着不少问题，功能逻辑上也存在很多不足：
IOS：
- 日历的授权设置没有引导用户进行授权的窗口；
- “设置”中的“推送”功能没有实现；
- “一键评议”功能如果输入错误的字符串会导致app崩溃；
- “辅导员考核”功能对字母或特殊字符（如@、&等）异常处理不完善。
Andriod：
- 进入设置页面，编辑侧边栏存在逻辑不符的情况；
- “一键xx”功能，对反复切换评议用途操作缺乏稳定性；
- 对输入类型的判断、权限设置等d用户引导不完善；
而针对安全方面，希望开发者能有足够的防范措施，保护用户数据隐私，有效防范DDos等常见安全攻击，提高系统的安全性和鲁棒性。建议开发人员可以针对以上问题作出相应的修改，完善功能逻辑，提高系统安全性，使每个页面之间的链接合理且完善。
贡献度
| 姓名 | 比例 |
|---|---|
| 家伟 | 11% |
| 卉卉 | 10% |
| 宇恒 | 10% |
| 政演 | 9.5% |
| 丹丹 | 9% |
| 鸿杰 | 8% |
| 一好 | 7% |
| 恺琳 | 6.5% |
| 青元 | 9% |
| 家灿 | 9.5% |
| 绪佩 | 10.5% |
第一组
Q1：演讲缺乏对专业测评工具的介绍，可以介绍一下你们所使用的应用在线测评工具吗？
答：感谢提问！我们使用的测评工具是Testin云测试。Testin云测试是一个真机自动化云测试服务平台,可实现自定义终端进行批量自动化兼容适配测试以及功能、性能、稳定性测试。我们在平台上传了福大助手的apk文件获得了测试报告数据。
Q2：项目测评是否有发布问卷调查，对应用进行一个大基数的调查？
答：感谢提问！我们没有采取发布问卷调查的形式。我们认为问卷调查的形式对我们的评测帮助并不大，一是没想到什么有针对性的问题，二是对一个软件的评测和分析是需要对软件细致地测试得出的，大多数同学不会通过日常的操作找到什么我们测试人员没有发现的bug，三是我们通过线下了解，同学们的需求比较单一，对福大助手现有的功能都比较满意，提出的如校园卡充值等需求对非技术性的要求较高，不在我们考虑的增量开发范围内。当然，以上仅代表我们组的观点。贵组的问卷调查分析结果是一个亮点，说明贵组的问卷问题和结果分析做的很好，我们会多多学习。
Q3：项目的增量开发难度如何，以小组实力需要多久的开发时间？
答：感谢提问！增量开发的主要功能同学帮涉及到实时交互的功能，难度较高，以小组实力初步估计要两个月左右的时间。
第二组
Q1：是否也有使用问卷调查的形式呢？
答:感谢提问!我们组这次的测试报告中没有考虑到使用问卷调查的形式，因为感觉大家都是轻使用这款App只会使用一些基础的功能，所以不必采用问卷调查的形式。当然，如果测试报告的形式更有利于我们进行测试的话，我们之后会考虑采用这种方式来进行测试工作。
Q2：假如由贵小组来开发该软件，觉得需要多久呢？
答:感谢提问!由我们组来进行开发的话，由于大家都是在校大学生，且经验不甚丰富，所以我认为助教学姐给出的四个月是个不错的建议。
Q3：具体的评测方法是什么？
答:感谢提问!我们组的测试同学使用的是名为“testin”的网站，该网站只用上传APK文件，就会给出关于该软件的测试报告，若有兴趣，欢迎讨论！
第三组
Q1：在测试的过程中并未提及对应的软件产品的版本号，这就使得bug没有针对性，有些或许并不是所有用户目前所使用的版本都潜在的问题，存在指向不明的情况
答：感谢提问！我们确实没有填，下次注意。但bug是只要一个设备存在，就需要去修改。
Q2：虽然有着详细的测试数据，但并没有给出一定的解释性说明，这造成虽然堆有大量数据但大众很难去理解其所代表的含义，可以挂出你们对于数据的解读吗？
答：感谢提问！其实数据解读我们在测试文档里面有给出来，如果你们还是觉得不是很能理解，可以看我们的详细excel文档。
3：指出的分析大都和数据的安全性相关，能否就你们所目前所指出的安全性给福大助手app提出具体的一揽子解决方案呢？
答：感谢提问！我们也很想提供一揽子解决方案，但确实做不到。
第四组
Q1：测试报告及ppt中均有错别字，为什么没有认真审核呢？
答：感谢提问！对于PPT数字“5”和“五”不统一的问题深感抱歉，由于疏忽影响观看美感。我们下次会注意的。对于测试报告中存在错别字我们团队没有发现，希望可以更明确的指出错误之处方便我们做出修改。
Q2：测试报告没有上传pdf文件，下次能否考虑上传pdf文件呢？毕竟pdf文件不会因为打开软件的不同呈现不同。
答：感谢提问！对于我们没有上传pdf文件给你们带来的不便表示抱歉，我们下次会尽量考虑到大家阅读的友好型做出改进。但是这次作业中也没有明确要求为pdf文件，所以还请谅解。
3：用户采访仅放了三张图，是否不够有说服力呢？毕竟图中部分同学神似团队成员呢？
答：感谢提问！我们的采访是线下面对面采访，虽只放置三张图片但并非代表只采访了三个对象。这在PPT演示过程中已有陈述是抽取三个代表性对象进行展示。而相较于您方放置的一个线下采访短视频是否我们就可以等价的认为您方说服力也不够强呢？对于“图中神似团队成员”的问题，我们团队中就有一半的成员在之前为使用过福大助手。首先，对象已经是属于我们的采访对象范围；其次，我们图中确实存在一位团队成员，但她便是我们挑选出来的代表性对象，我们认为这并没有什么不妥。最后，如果您方认为说服力不够，我们很乐意看到您方所谓比较有说服力的采访数据和证据。
第五组
Q1：测评可以加入问卷调查的，了解下大家对这个软件的认识，因为我发现其实还是很多人不知道的。
答：感谢提问！这是一个很棒的建议！之后我们会多考虑问卷的。
Q2：其实我觉得福大助手在响应时间方面并不是很好，很多东西都半天出不来，也不知道是不是手机问题。
答：感谢提问！其实我们团队也有类似的感觉，不过似乎易班及福大教务通等一众教务类软件都具有这些毛病，或许和服务器也有一定关系。
Q3：PPT一共有四页给福大助手来了一脚，虽然这APP确实很多地方有问题，但还是别踢了，都肿了。（滑稽）
答：感谢提问！柯大魔王要求如此，一人一脚也是无奈之举。（莫非柯老板是西二在线幕后股东？）
第七组
1：你们的测试看起来非常有料，可以具体分享一下是怎么测试的嘛？
答：感谢提问！测试的过程虽然是我们组的核心机密，但是看在我们小组之间的关系非常不错。我们做的测试主要是黑盒测试，除此之外我们还使用了testin，上传apk文件，他们提供了很多款机型做测试，同时也给出测试的方式，性能测试、安全测试和兼容性测试等。不过一个账户只能免费使用一次软件测试。
Q2：你们的增量开发中有“同学帮”，可以具体的介绍一下同学帮是干什么的嘛？可以实现什么？
答:感谢提问！同学帮的功能：实名制的同学互动平台。分成学习、生活两部分。学习部分主要用来发布一些面向用户的个人学习信息。用户可以在这个板块发布找研友、有偿考研信息分享交流、有偿期末答疑解惑等消息。生活部分主要用来发布一些生活上的便利互助信息，如打车拼单、闲置物品转让出售等。我们觉得这个功能能够提供一个很好的校内交流氛围。
Q3：你们认为增量开发难度如何？
答：感谢提问！增量开发的难度视内容而定吧，要是您们指的是“同学帮”功能的话，开发上我觉得是有一定的难度，毕竟功能比较繁杂，不过物品转让在ios上已经有做尝试；对于学习部分，开发难度上类似于一个在线聊天系统，难度应该也不大。
第八组
Q1：对于增量设计中的在线点名功能认为是否有必要加这个？是不是加剧代签之类的情况？
答：感谢提问！本组觉得在线点名功能是可以扩展的功能，至于是否会加剧代签之类的情况，本组觉得教务处账号涉及个人隐私太多，大部分同学可能都不愿意为了签到借给他人。
Q2：可以抽取一部分的思维导图或者逻辑框图展示在ppt中，ppt中好像没有体现。
答：感谢提问！本组认为把思维导图或者逻辑框图放在ppt中没有很大的意义，因为这些图如果放在ppt中很难让同学们看清。
Q3：产品分析感觉这部分内容有点少了。
答：感谢提问！下次会在这方面有所改进。
评分结果
| 组号 | 其他组对本组的评分 | 本组对其他组的评分 |
|---|---|---|
| 1 | 78 | 80 |
| 2 | 81 | 76 |
| 3 | 77 | 71 |
| 4 | 76 | 69 |
| 5 | 86 | 78 |
| 6 | 85 | 85 |
| 7 | 82 | 71 |
| 8 | 84 | 80 |
| 平均 | 81 | — |