一、爬虫概述
1、爬虫简介
UI页面的测试，除了定位元素和模拟操作外，更多的是需要收集一些数据并进行后续的逻辑处理，这时就需要使用爬虫技术来实现数据有爬取。
爬虫技术也可以用于测试，例如通过爬虫对测试页面进行采集和分析，对功能点进行冒烟测试。网络爬虫可以爬取Web站点的内容，对爬虫爬取的对应接口添加断言，便可进行自动化测试。
通过循环不同的URL来抓取多个页面，便可将结果持久化以便进一步分析。
爬虫测试的核心在于爬虫，其流程大致如下。
（1）访问页面。可以使用requests库进行GET或者POST请求，访问页面资源。
（2）筛选元素和内容。针对返回的页面数据进行元素定位，可以使用BeautySoap 4或者正则匹配方式匹配出特定元素。例如，针对股票详情页收集该股票的开盘价、收盘价和量比等数据。
（3）持久化数据。根据收集到的数据，选择适合的持久化手段，如写入本地文件，或者使用关系型数据库写入相关表。持久化有利于后续的分析工作，使结果可视化有了数据基础。
（4）测试和断言。使用断言来判断爬取到的数据是否和预期的一致。根据断言结果来判断测试是否通过，以此发现功能缺陷和存在的逻辑问题。
以上步骤中的第（1）步可能遇到的问题是反爬虫策略。网站会对这种固定IP和浏览器信息高频访问某一页面的行为产生警觉，从而判断是非法爬虫并阻止爬虫爬取页面。反爬虫的策略非常多，如SSL证书验证、Reference（源地址）验证、IP限制、浏览器头信息验证，甚至还有MAC地址的限制等。
2、urllib库
针对访问页面的实现方式有很多，