scrapy 学习笔记

scrapy 的setting 中设置请求头
有个这个东西：

DEFAULT_REQUEST_HEADERS = {
  'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
  'Accept-Language': 'zh-CN, zh; q=0.9',

}

我寻思着，后面这个 q = 0.9 是个嘛啊？
解释：q是权重系数，范围 0 =< q <= 1，q 值越大，请求越倾向于获得其“;”之前的类型表示的内容，若没有指定 q 值，则默认为1，若被赋值为0，则用于提醒服务器哪些是浏览器不接受的内容类型。

知识点：

import os
BASE_DIR = os.path.dirname(os.path.realpath(__file__))
# os.path.dirname()：去掉脚本的文件名，返回目录。

# os.path.dirname(os,path.realname(__file__))：指的是，获得你刚才所引用的模块 所在的绝对路径，__file__为内置属性。

这里我们要配置一下文件，因为我们可能要抓取不同的城市