基于 asyncio 和 aiohttp 的异步爬虫框架(Python)!

Ruia 中文文档

Ruia是一个基于 asyncio 和 aiohttp 的异步爬虫框架,它的目标是让你更加方便且迅速地编写出属于自己的爬虫

很高兴你能使用 Ruia 来实现爬虫程序,不过在编码之前,希望你能通读此文档,因为它包含了 Ruia 的使用方法以及一些基础概念介绍

First steps

  • Introduction :介绍Ruia
  • Tutorials :使用Ruia快速编写一个稳健的爬虫
  • Plugins :编写Ruia扩展

Topics

  • Item :定义爬虫的目标字段
  • Selector :从HTML中提取出目标字段
  • Request :请求并抓取目标网站资源
  • Response :进一步封装响应内容
  • Middleware :使爬虫支持第三方扩展
  • Spider :爬虫程序的入口

Getting help

如果在使用过程中遇到了困难,随时欢迎提 Issue

猜你喜欢

转载自blog.csdn.net/qq_42156420/article/details/86520243