不用写代码的爬虫:使用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息

用chrome浏览器的爬虫插件Web Scraper爬取天猫商品信息

详细操作请前往我的网盘下载(https://pan.baidu.com/s/1Vr9obGRaiUxWVLoFVNoa_A)可查看操作步骤。
此处以该页面https://list.tmall.com/search_product.htm?spm=875.7931836/B.subpannel2016046.14.700b4265X81Z8k&q=%C5%A3%C4%CC&pos=1&vmarket=&from=mallfp…pc_1_searchbutton&acm=201603142.1003.2.720738&type=p&scm=1003.2.201603142.OTHER_1484586479470_720738为目标,爬取商品的价格,名称,月成交量和评论数。
**1.**首先打开chrome浏览器的开发者工具,切换到Web Scraper,点击Create new sitemap创建新项目,输入项目名及初始网址后点击Create sitemap,流程如下图所示。
在这里插入图片描述
**2.**点击Add new selector按钮创建一个元素选择器,该选择器主要是用来选择包含多个数据内容的元素,其会返回每个选择元素作为子选择器的母元素,具体操作及填写内容如下:
在这里插入图片描述
**3.**点击milk按钮后,点击Add new selector按钮创建一个子元素选择器,分别为标题title,价格price,成交量volume,评论数comment-number。以创建价格选择器为例,其他选择器只需修改为相应的id和selector后即可,操作如下图:
在这里插入图片描述
**4.**创建好后点击Data preview,可以预览所爬取的数据,如下图所示:
在这里插入图片描述
在这里插入图片描述
5点击Sitemap tianmao后选择Scrape,最后点击Start scraping开始爬虫
在这里插入图片描述
**6.**爬取时会弹去一个窗口显示爬去的情况,待爬虫结束后窗口会关闭,点击refresh即可得到数据,部分结果如下:
在这里插入图片描述
**7.**导出数据,点击Sitemap tianmao后选择Export data as CSV,点击Download now,会在默认下载器里得到该CSV文件,用Excel打开即可。
在这里插入图片描述
在这里插入图片描述

猜你喜欢

转载自blog.csdn.net/weixin_44530979/article/details/87261811