scrapy框架之request

 request是一个类似于http请求的类,对于爬虫而言是一个很重要的类。请求一般是在Spider中创建,在Downloader中执行这样一个请求。同时,在scrapy框架中,还有一个类也可以发送请求,该类是FormRequest ,用于post提交

request类的属性和方法

url,method,headers,body,meta,copy(),replace()

Request参数说明

url(请求的url)    callback(回调函数,用于接收请求后返回的信息,如果没有指定,则默认为parse()函数)

method(http的请求方式,默认为GET请求,一般不需要指定,如果为post请求,用FormRequest)headers(请求头信息)

body (str类型,请求体,一般不需要设置)

cookies (dict或者list类型。。字典形式{“name1”:“value1”,“name2”:“value2”},list类型[{"name1":"value1"},{"name2":"value2"}])

encoding (默认编码方式,一般为utf-8)

priority (int类型,指定优先级,可以为负数,默认为0)

dont_filter (默认为False,若设置为True,此次请求不会过滤,不会加入到去重队列,可以执行多次相同的请求。)

扫描二维码关注公众号,回复: 2669009 查看本文章

meta 传递参数

..................

FormRequest

该类为Request的子类,用于post提交,新增一个参数为formdata,其他参数和父类一样

用法

yield scrapy.FormRequest(

      url,

      formdata=formdata

     callback=self.***

)

猜你喜欢

转载自blog.csdn.net/qq_41982304/article/details/81462906