scrapy框架 用post 爬取网站数据 的两种方法区别

post请求，一定要重新调用父类的 start_requests(self)方法

方法1：（推荐）

重构start_requests

def start_requests(self):
    data = {
        'source': 'index_nav',
        'redir': 'https://www.douban.com/',
        '....'
    }
    for url in self.start_urls:
        yield scrapy.FormRequest(url=url, formdata=data, callback=self.parse)

方法2：

重构start_requests

def start_requests(self):
    yield scrapy.Request(url=url, callback=self.parse, method='post')