Python爬虫之Scrapy框架系列(14)——实战ZH小说爬取【多页爬取】

实现多页爬取,此处以两页举例!

①编写爬虫文件:

  • (加入对start_urls处理的函数,通过翻页观察每页URL的规律,在此函数中拼接得到多页的URL,并将请求发送给引擎!)
    # start_urls的回调函数
    # 作用:拼接得到每页小说的url。实现多页小说获取。
    def parse_start_url(self, response):
        print(self

猜你喜欢

转载自blog.csdn.net/qq_44907926/article/details/129039157