Scrapy类
name 字符串，爬虫名称，必须唯一，代码会通过它来定位spider
allowed_domains 列表，允许域名
没定义 或 空: 不过滤,
url不在其中: url不会被处理,
域名过滤功能: settings中OffsiteMiddleware
start_urls：列表或者元组，任务的种子
custom_settings：字典，覆盖项目中的settings.py
crawler：Crawler 实例
settings：Settings 实例
logger：记录日志
from_crawler()：类方法，创建spider时调用
start_requests()：必须返回一个可迭代对象
make_requests_from_url(url)：默认parse回调, dont_filter=True，不过滤url
parse(response): 默认回调方法, 返回值只能是Request, 字典和item对象，或者它们的可迭代对象
log(message[, level, component])：对logger的包装
closed(reason)：spider结束时调用
CrawlSpider类
CrawlSpider继承于Spider，为全站爬取而生
rules：列表，元素为Rule类的实例，采集行为。类似Django的url匹配
如果有多个rule都匹配同一个链接，那么位置下标最小的一个rule将会被使用。
__init__：执行了_compile_rules方法
parse：重写默认回调方法，调用方法_parse_response
parse_start_url：处理parse返回的response
_requests_to_follow：response中解析出目标url，并将其包装成request请求
_response_downloaded：_requests_to_follow的回调方法，作用就是调用_parse_response方法
_parse_response：spider._follow_links的值是从settings的CRAWLSPIDER_FOLLOW_LINKS值获取到的。
_compile_rules：将rule中的字符串表示的方法改成实际的方法
from_crawler：
Rule类
link_extractor：Link Extractor实例，解析规则。
callback：方法或字符串，回调方法，慎用parse做为回调方法
cb_kwargs：字典，用于给callback方法传递参数
follow：布尔对象，表示是当前response否继续采集。如果callback是None，那么它就默认为True，否则为False。
process_links：在crawlspider中的_requests_to_follow方法中被调用，元素为Link的列表作为参数，返回值也是一个元素为Link的列表，目标url是相对的链接，那么scrapy会将其扩展成绝对的
process_request：处理request