2019工业信息安全技能大赛个人线上赛第一场圆满收官。在保障竞赛平台成功稳定运行的同时，更多的还是思考竞赛平台在本次支撑过程中的用户体验，用户测试与评估情况。作为专业为工业信息安全打造的人才测评选拔和竞赛平台，实际的竞赛活动就是检验和测试产品最好的试金石，也是用户测试环节的最佳测试环境。
在产品设计与优化过程中，产品用户测试与评估环节是指请符合测试要求的目标用户来完成一些特定或具有代表性的任务，观察并记录用户使用产品的整个过程，包括用户使用的顺畅程度和情绪等多个方面。测试过程不是应对用户的不满和要求，而是通过观察用户的行为操作及情绪等方面来把握用户的实际使用情况。用户测试有时也会称为产品可用性测试，可用性测试的定义是“特定用户在特定的使用场景下，为了达到特定的目标而使用某产品时，所感受到的有效性、频率及满意度”。用户测试也作为竞品分析和市场调研的方法，我们会经常性的使用用户测试的方法对其他厂商的产品进行评测，为自身产品的设计提供参考。
对于目前市面上存在的网络安全竞赛平台而言，用户使用情境和目标就是支撑网络安全赛题展示交互与赛题答案提交，并为选手输出可定量和定性的评估结果。满足了这样的前提，我们才能使用有效性、效率及满意度等这些标准来对其进行评价。竞赛平台经过在我们典型的可用性实验室及产品测试团队的可用性测试的基础上，经历了2018工业信息安全技能大赛多个场次的用户使用测试，在产品的可用性上，已经具备了提供网络安全赛题展示交互与赛题答案提交并提供定量和定性评估结果的目标和功能，即产品已经具备了可用性。
在2019工业信息安全技能大赛的支撑上，我们对竞赛平台后续需要的可用性测试目标进行了进一步梳理，即在2019工业信息安全技能大赛过程中，我们的产品团队对竞赛平台的可用性测试的测试目标是什么？也就是我们做可用性测试到底要测那些内容，想知道些什么信息？根据标准的可用性测试方法及流程，一般来讲可用性测试主要分为三大内容：
第一：首先是有效性。是否有效就是说用户是否能达成自己的目标，比如网络安全竞赛，有效性就是用户能够进行赛题交互、提交答案并输出定量和定性结果，如果提交不了答案就是有效性出了问题，那这个竞赛平台就没有存在的价值了。所以有效性问题就是首要的必须要解决的问题。
第二：效率。效率就是用户不用做无用功，能以最快路径达成目标，仍然以网络安全竞赛为例，如果用户在竞赛过程中需要反复操作很多次才能完成任务，那就存着效率问题了，严重的效率问题就是有效性问题。
第三：满意度。满意度是在有效性和效率两方面都没有大问题的情况下，有没有给我们的用户带来不愉悦的体验，这就可能涉及到很多方面很多细节，比如用户注册的时候会不会要求输入过多的信息，或者系统反应及不及时等这种问题，
基于这三个基本要素的标准可用性内容，我们竞赛平台的可用性测试需要在有效性、效率及满意度上继续深挖，以比赛作为契机，竞赛用户选手作为测试评估的主体，它基于真实的用户数据进行评价，相对客观，拥有较强的说服力。用户测试的目的是发现问题，改善我们的设计，挖掘潜在的需求。其测试评估价值巨大：
第一，它能够挖掘潜在的需求。挖掘潜在需求是根本，决定了产品的发展方向；
第二，发现并解决产品存在的问题。发现需要解决的问题，包括界面框架逻辑结构交互等等是否合理，用户体验是否良好；
第三，降低产品周期成本。边做边测试评估，通过快速迭代降低交互设计的周期成本，或者对产品迭代提供良好的参考意见；
第四，增强设计说服力。用户测试可以用鲜活的案例，鲜活的数据等增强设计的说服力。
我们在竞赛结束后以电话调查和采访的方式对选手进行抽样用户测试数据采集，并将采集的测试评估数据记录并进行梳理归纳处理，最终输出我们需要的调查评估数据。在整个过程中，用户测试基本流程需要精心设计。根据经验，我们将用户测试基本流程分为四大部分：
第一：首先需要明确本次测试的目标，然后由用户研究员设计参与者在测试过程中需要完成的任务及测试脚本，由于本次是直接在竞赛过程中对用户进行用户测试，因此本次竞赛选手即为我们需要招募的测试用户。根据年龄段及社会经验作为招募标准和调查对象筛选条件。因为测试中设计什么样的任务和你要描述的用户操作直接相关，确定了前者，后者也就更加明确了。
第二：需要在竞赛选手中筛选用户进行数据采集，我们所邀请的用户必须是目标用户，并且符合本次测试的各项条件。综合目前调查的情况来看，我们筛选了进入场景题的所有用户作为本次调查和数据采集的对象，并根据设计对应的测试调查任务和问题进行电话逐一采访，成功收回所有测试数据。
第三：进行测试，在正常的产品测试中，我们会使用可用性实验室及产品测试团队。在本次测试中，我们直接使用选手的实际使用操作作为测试环境和测试对象，在进行测试中我们需要观察和记录参与者执行任务的情况。在电话采访中，一般我们以抛出问题为主，少做建议，在用户不知所措的时候适当地提问或者帮助加以引导。
第四：分析与报告，电话采访结束后，需要对采集的数据进行记录并进行预处理，仔细重读每个参与者的测试记录，挖掘其中的可用性问题，列出所有的问题并分类整理，判断问题的严重性，整理成为可阅读性的测试报告。Test report set out the problems collection, it can not be directly used to improve the product's tasks and optimize entry, we have to continue to analyze the problem to sort out more details: such as how to determine the test user is rational or emotional about an issue? This goes back to our mission designed to test the mind and the level of content, determine to this problem, we also need to begin the task content itself and to the content itself the task to find the answers. In addition to the answer Sense and Sensibility judgment itself, we need to collect data on the content itself the task of quantitative and qualitative evaluation, quantitative evaluation is quantifiable part of the evaluation, such as traffic, usage, etc., you can use the data to illustrate . Qualitative assessment refers to non-metered portion of the evaluation, such as fluency, comfort, creativity, etc. were evaluated, it can only represent a degree, not with accurate data to illustrate the problem. Acquisition value judgment and quantitative analysis of the problem based on a qualitative assessment, we will be able to screen out problem is more concerned about the availability of a list of planned and targeted to be resolved.
The user test survey helped us identify some of the problems, optimize beneficial product improvements. In terms of effectiveness, the test users have expressed concerns about the stability of the network access ××× scene, *** client download speed is limited by the speed of the network itself, players and other issues. Because it is the first online game to take the title scene access mode, the survey responses, the test users that download ××× client spent a long time in the race against time is on the court, not the party will be limited network the network downloading speed slow down to enter the scene, interaction and impact and answers submitted the title match. From a usability point of view the product point of view, this is a serious issue of the validity, priority will solve this problem in several follow-up sessions in. Second, the test users have expressed major concerns about the effectiveness of stability problems ××× network and so on.
In terms of efficiency, operational efficiency test the user wishes to provide an answer in the tournament title example, the destination IP *** directly and so on. Since the tournament format is not unified answer questions, answer all hope to improve efficiency, for example the answer to each problem to provide the title match, players find answers and to enhance the operational efficiency of splicing the answer, try to reduce duplication and waste of time. In addition, since *** targeting, test users want to be able to provide direct *** destination IP address, to reduce unnecessary network scanning, network scanning because all players will seriously take up a lot of bandwidth resources, resulting in network congestion at the access stage and Caton.
There are a variety of other minor issues record details will help us improve the follow-up of the product user experience. On the whole, the competition platform for user testing and evaluation in practice, to the greatest degree of help us improve our products and optimize the experience, find and solve problems existing products.