Scrapyのcustom_settingsのCOOKIES_ENABLEDとは何を意味しますか? COOKIES_ENABLED Scrapy.FormReques で cookies=self.cookies を使用するかどうか
class HeilongjiangZtbSpider(scrapy.Spider):
name = 'JiLin_XM_njxm'
allowed_domains = ['']
start_urls = ['']
classItems = {
# 'collectionName': 'plan_to_project',
'province': '吉林省', # 'profession': '--', 'startDate': '--', 'endDate': '--', 'contactName': "--",
'phoneNumber': "--", 'spiderDate': get_time(),
'author': 'ln', 'projectType': "拟建项目"}
custom_settings = {
'DOWNLOAD_DELAY': 15,
"COOKIES_ENABLED": True,
"CURLOPT_SSL_VERIFYPEER": False
}
#cookies=self.cookies,
#
def __init__(self):
super().__init__()
self.JSESSIONID = str(Jilin_njxm_api.JiLin_XM_njxm_Jsessionid())
self.valicode = Jilin_njxm_api.Vcode(self.JSESSIONID)
self.cookies = {
'JSESSIONID': self.JSESSIONID, # 48BE440881F36D8E024BE821FE9226E7
'name': 'value',
}
self.data = {
'apply_project_name': '',
'valicode': str(self.valicode),
'pageNo': '1'
}
print(self.cookies)
self.headers = {
}
if_break = 1
if_grab = 0
img = True
def start_requests(self):
try:
yield scrapy.FormRequest(url=self.start_urls[0], formdata=self.data, dont_filter=True, cookies=self.cookies,
meta={
"标签": "列表页", '请求次数': 1},
headers=self.headers)
except:
print("异常")
yield scrapy.FormRequest(url=self.start_urls[0], formdata=self.data, dont_filter=True, cookies=self.cookies,
meta={
"标签": "列表页", '请求次数': 1},
headers=self.headers)
要約する
COOKIES_ENABLED=設定で True、デフォルトのパラメータは、
scrapy.FormReques で Cookie を使用できることを示します。COOKIES_ENABLED
=Flase は、Cookie が Headers リクエスト ヘッダーにのみ書き込めることを示します。