网络爬虫，是在网上进行数据爬取的程序，使用它能够抓取特定网页的html数据，我们可以在一个py文件中引入一个又一个的模块来进行爬取，但使用框架可以更快速的来帮助我们爬取数据，提高爬取效率。Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性数据而编写的应用框架，用途非常广泛。
今天这篇文章就来讲讲scrapy的安装与scrapy的一些简单的语法
一、scrapy安装：
这里介绍两种安装方法：
1.基于Anaconda的
如果你已经安装了Anaconda，那么可以非常简单的通过在命令提示符中输入 conda install scrapy 命令快速的安装Scrapy，
win+r 输入cmd 然后回车 打开命令提示符 输入conda install scrapy
安装完成之后怎么验证Scrapy是否安装成功呢？在命令提示符中输入 scrapy 命令如果显示结果如下图，那么就表示Scrapy安装成功
如果你没安装Anaconda，你可以选择安装Anaconda或者使用下面的方法
Anaconda下载地址：https://www.anaconda.com/download/
2.安装Twisted
Tuisted的下载地址：https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
cp36：pycharm3.6，代表的是你使用的pycharm的版本
win32代表的是32位的Windows操作系统
这里要根据你的情况来选择安装，我用的是pycharm3.6版本的
下载完之后 win + r >>cmd >回车打开命令提示符
输入pip install Twisted-18.7.0-cp36-cp36m-win32.whl，当然install后面的文件名要根据你下载的文件名来写，
或者你下载完之后直接把文件放在桌面，打开命令提示符输入pip install，然后把文件拖进去
安装完成之后再输入 pip install scrapy即可安装Scrapy
安装完成之后输入 scrapy 命令验证是否安装成功，结果同Anaconda
二、Scrapy基本命令
在命令提示符中输入scrapy后会出现下列命令：
在pychar中先创建一个Scrapy框架文件用来存放后面的项目，在命令提示符中输入cd 文件路径 跳转到Scrapy框架文件下
然后输入 scrapy startproject 项目名
打开pycharm查看文件，已创建
items.py:项目的目标文件
middlewares.py：项目的中间文件
pipelines.py项目的管道文件
settings.py：项目的设置文件
scrapy.cfg：项目的配置文件
切换到命令提示符
根据提示进行先 cd baidu此时光标在第一个baidu文件夹路径下，
然后再输入一个cd baid 跳转到第二个baidu文件夹下
然后再输入一个cd spiders，跳转到spiders文件夹下
然后输入scrapy genspider baiduSpider baidu.com
如果不跳转到spiders文件中执行命令也可以，命令会将baiduSpider.py自动创建到spiders文件夹下
scrapy genspider 文件名 要爬取的目标域名，这里的域名以baidu.com为例。注意：文件名要与项目名不同
至此 Scrapy框架就创建成功了，此时再在命令提示符中输入scrpay命令可以看到多出了几条命令
check 检查，crawl 运行，edit 编译，list 列出，parse 解析
打开baiduSpider.py输入下面的代码，并将网址补全，添上www.
注意：写完之后我们可以改一下settings.py中的一些代码，settings.py文件当中的代码是自动生成的，应该都是一样的，
将22行的代码True改为False ，这个表示是否遵循爬虫协议，不改的话有些网站不让我们爬，我这里选择的是不遵守
将67到69行的代码解注释并将300改为1，改变项目的优先级，值越小，优先级越高
可以不改，我这儿改只是为了方便执行
效果如下：
settings.py改之前
settings.py文件改之后：
之后我们来执行一下，在命令提示符中输入 scrapy crawl baiduSpider 执行成功会出现指定网站的网页源码
结果为：
以上就是scrapy的安装与一些基本命令。