腾讯发布了一款可视化爬虫工具

打造轻量级可视化数据爬取工具-菩提
https://mp.weixin.qq.com/s/TBYcWxT6MSAgI6Y4g53TNA

scrapy 是一个非常优秀的开源框架,但是需要编码,使用技术门槛较高,跟我们的初衷不符;
portia 是应该是第一个开源的可视化 web 数据爬取工具,想法非常好,但是仅支持静态网页,没有对动态网页提供支持,在几乎全是动态网页的今天明显不能完成大多数页面的提取;
八爪鱼是国内使用量最大的商业数据爬取工具之一,提供客户端,其免费版无法做到大规模、7*24 小时的持续爬取,无法满足工业化应用;

  • 参考https://blog.csdn.net/Tencent_TEG/article/details/103707723

  • 没有找到可用的入口


后羿采集器 http://www.houyicaiji.com
前谷歌技术团队倾力打造,基于人工智能技术,只需输入网址就能自动识别采集内容

  • 看起来不错的样子,收费~
  • 果然优秀的东西都不免费

猜你喜欢

转载自www.cnblogs.com/xuehuiping/p/12122929.html