Web Scraper统计知乎大V文章标题_2.1

  1. 举例
    ①知乎高冷冷主页标题爬取
    ②https://www.zhihu.com/people/gao-leng-leng-61/posts
  2. 打开Web Scraper,F12/网页右键—审查元素
  3. 创建Sitemap
    在这里插入图片描述
  4. 进入lengleng
    在这里插入图片描述
  5. Add new selector,设置selector抓取规则
    ①Select:爬取规则
    ②Element preview:页面查看爬取规则,是否选中
    ③Data preview:查看爬取的具体数据
    ④Multiple:抓取多个
    ⑤Delay:1000~5000值,一般2000ms即可。(新版没有)可以忽略参数
    在这里插入图片描述
  6. 启动抓取程序Scrape
    在这里插入图片描述
    设置时间
    在这里插入图片描述
    start scraping,执行,弹出要爬去的页面,然后执行后,会自动关闭
  7. 查看页面,点击refresh
    在这里插入图片描述
  8. 查看爬出的数据
    在这里插入图片描述
  9. 导出excel的csv文件到电脑
    在这里插入图片描述
  10. 点击Download now!
    在这里插入图片描述
  11. 下载lengleng.csv,打开查看
    ①web-scraper-order:用于排序
    ②web-scraperstart-url:抓取的URL
    ③title:抓取的数据标题
    在这里插入图片描述
  12. 问题
    ①不全
    ②无顺序
    ③没有翻页
  13. 注意
    ①抓取窗口,可以最小化,不可关闭
    ②可以同时执行启动多个Web Scraper爬虫程序
  14. 练习:抓取知乎评论
发布了52 篇原创文章 · 获赞 3 · 访问量 2208

猜你喜欢

转载自blog.csdn.net/qq_42907800/article/details/105268379
今日推荐