scrapy 学习笔记1

前情提要:

　　

scrapy框架
- 框架：具有很多功能且具有很强通用性的一个项目模板。
- 环境换装：
Linux：

pip3 install scrapy

 

　　 Windows：

a. pip3 install wheel

b. 下载twisted http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

c. 进入下载目录，执行 pip3 install Twisted‑17.1.0‑cp35‑cp35m‑win_amd64.whl

d. pip3 install pywin32

e. pip3 install scrapy

- 创建一个工程：scrapy startproject proName
- cd proName

- 创建爬虫文件：scrapy genspider spiderName www.xxx.com
- 执行工程：scrapy crawl spiderName

- 持久化存储：
- 基于终端指令：只可以将parse方法的返回值存储到磁盘文件中
- 基于管道：

一:创建一个scrapy 工程