Web Scraper 抓取微博所有评论_2.9

  1. 模拟评论,因为微博已经改为:点击加载模式
  2. 现象
    在这里插入图片描述
  3. 分析翻页规律
    在这里插入图片描述
    ①网页URL无规律
    ②可以点击页码,翻页
  4. 使用有规律页码模拟,创建sitemap
    在这里插入图片描述
  5. 创建selector,大模块
    在这里插入图片描述
  6. 创建selector,小模块
    在这里插入图片描述
  7. 执行抓取scraper,弹出窗口,会自动点击加载按钮,关闭网页后,刷新refresh,查看(太多,慢)
    在这里插入图片描述
  8. 导出cvs文件。缺点:乱序,有可能数目缺少
发布了52 篇原创文章 · 获赞 3 · 访问量 2208

猜你喜欢

转载自blog.csdn.net/qq_42907800/article/details/105268688
今日推荐