scrapy相关-安装和初始化

scrapy框架的简介和基础使用

概念：

为了爬取网站数据而编写的一款应用框架，出名，强大。所谓的框架其实就是一个集成了相应的功能且具有很强通用性的项目模板。（高性能的异步下载，解析，持久化……）

安装：

1. linux mac os:pip install scrapy
2. win:
   2.1 pip install wheel
   2.2 下载twisted：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
   2.3 pip install 下载好的框架.whl
3. pip install pywin32
4. pip install scrapy

基础使用： 使用流程

• 创建一个工程：scrapy startproject 工程名称
  1.目录结构：
  
• 在工程目录下创建一个爬虫文件:
  1.cd 工程
  2.scrapy genspider 爬虫文件的名称 起始url
• 对应的文件中编写爬虫程序来完成爬虫的相关操作
• 配置文件的编写（settings）
  1. 19行：对请求载体的身份进行伪装
  2. 22行：不遵从robots协议
• 执行 ：scrapy crawl 爬虫文件的名称 --nolog(阻止日志信息的输出)