python scrapy框架实现某品牌数据采集

某品牌数据采集

采集需求

地址：http://www.winshangdata.com/brandList

需求：用scrapy框架采集本站数据，至少抓取5个分类，数据量要求5000以上

采集字段：标题、创建时间、开店方式、合作期限、面积要求

网页分析

进入网站后页面如下

打开f12切换到网络这一栏，刷新网页或者点击下一页抓取请求

分析返回的json数据发现，只能获取到我们需要的标题、面积要求

所以我们需要进入网页详情页面进行分析，进入详情页面后发现我们剩下所需的参数都是在网页的li标签中，所以我们可以通过xpath等方式获取，而网页跳