scrapy框架start_urls以及sart_requests分析

start_urls

url列表。当 没有指定特定的url时,spider将从该列表中开始抓取。因此,第一个被获取到的页面的url僵尸该列表之一。后续的url将会从获取的数据中提取。

start_requests

该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于抓取的第一个Request。

当spider起订抓取并且未指定url时,该方法被调用。当指定了url时,make_requests_from_url()将被调用来创建request对象。该方法仅仅会被scrapy调用一次,因此您可以将其实现为生成器。

该方法的默认实现是使用start_urls的url生成request。

如果您想要修改最初抓取某个网站的request对象,您可以重写(override)该方法。例如,如果您需要在启动时以POST登录某个网站,你可以这么写:

def start_requests(self): 
return [scrapy.FormRequest
("http://www.example.com/login", formdata={'user': 'john', 'pass': 'secret'}, 
callback=self.logged_in)]

def logged_in(self, response): 
# here you would extract links to follow and return Requests for 
# each of them, with another callback
pass

make_requests_from_url(url):
该方法接受一个url并返回用于抓取的request对象。该方法在初始化request时被start_requests()调用,也被用于转化url为request。

默认未被重写的情况下,该方法的request对象中,parse()作为返回函数,dont_filter参数 也被设置为开启。

发布了65 篇原创文章 · 获赞 41 · 访问量 4万+

猜你喜欢

转载自blog.csdn.net/weixin_43870646/article/details/90644592
今日推荐