Web Scraper链家循环分页_2.11

  1. 什么情况下用 循环分页?
    ①页码的URL就是真实的网页链接
    ②查看页码元素,点击页码就会转到网址,而且还是真实的网页
    在这里插入图片描述

  2. 创建sitemap
    在这里插入图片描述

  3. 创建selector(简单演示,只抓取标题)
    在这里插入图片描述

  4. 创建selector,抓取页码链接
    在这里插入图片描述

  5. 修改 title属性,因为进入页码,title不变,所以不需要重复定义
    在这里插入图片描述

  6. 修改page属性,进入page抓取后,还需要进行page操作,所以
    在这里插入图片描述

  7. 执行抓取scrape,弹出窗口,自动进入二级页面,关闭网页后,刷新refresh,查看(太多,慢)
    在这里插入图片描述

  8. 导出cvs文件。缺点:乱序,有可能数目缺少

  9. selector graph
    在这里插入图片描述

  10. 尽量不要用这种循环递归方式

发布了52 篇原创文章 · 获赞 3 · 访问量 2208

猜你喜欢

转载自blog.csdn.net/qq_42907800/article/details/105268779