gecco 1.0.9 发布,易用的轻量化爬虫

gecco 1.0.9 发布了。

1.0.9版本主要做了如下修改:

1、@Image注解增加图片自动下载到本地的方法@Image(download="d:/gecco/jd/img")
2、GeccoEngine改为线程方式,通过start()支持非阻塞方式运行
3、支持debug模式,GeccoEngine.debug(true)
4、简化spring项目启动Gecco的方式,详细请查看:http://101.200.193.106/sysc-6/
5、文档有较大的完善,http://101.200.193.106/tag/sysc/
6、非循环模式等待执行完毕后释放httpclient、jmx等所有资源
7、修复demo中的bug

gecco是一款易用的轻量化网络爬虫。十分的容易上手。

主要特征:

  1. 简单易用,使用jquery风格的选择器抽取元素
    2.支持页面中的异步ajax请求
    3.支持页面中的javascript变量抽取
    4.利用Redis实现分布式抓取,参考gecco-redis
    5.支持结合Spring开发业务逻辑,参考gecco-spring
    6.支持htmlunit扩展,参考gecco-htmlunit
    7.支持插件扩展机制
    8.支持下载时UserAgent随机选取
    9.支持下载代理服务器随机选取

猜你喜欢

转载自xtuhcy.iteye.com/blog/2290615