- 模拟评论,因为微博已经改为:点击加载模式
- 现象
- 分析翻页规律
①网页URL无规律
②可以点击页码,翻页 - 使用有规律页码模拟,创建sitemap
- 创建selector,大模块
- 创建selector,小模块
- 执行抓取scraper,弹出窗口,会自动点击加载按钮,关闭网页后,刷新refresh,查看(太多,慢)
- 导出cvs文件。缺点:乱序,有可能数目缺少
Web Scraper 抓取微博所有评论_2.9
猜你喜欢
转载自blog.csdn.net/qq_42907800/article/details/105268688
今日推荐
周排行