在terminal中
1.To create scrapy project : scrapy startproject ITcast
2. cd the path of folder spider , and input the command scrapy genspider itcast " itcast.cn"
(1)name = 'itcast': 爬虫识别名称,必须唯一 (2)allowed_domains = ['itcast.cn'] :
搜索的域名范围,爬虫的约束区域,爬虫只爬取这个域名下的网页,不存在的URL会被呼略
(3)start_urls = ['http://itcast.cn/']:
爬取的URL元祖列表,爬虫从这里开始抓取数据,所以,第一次下载的数据将会从这些urls开始,
其他子url将会从这些起始URL中继承性生成
(4)def parse(self, response):解析的方法,每个初始url完成下载后将被调用,调用的时候传入每一个URL传回的Response对象来作为唯一参数,主要作用如下:
负责解析返回的网页数据(response.body),提取结构化数据(生成item)
生成需要下一页的URL请求
当python版本为python2.x时候,需要添加
import sys
reload(sys)
sys.setdefaultencoding("utf-8")