Win7系统安装Scrapy爬虫框架

可能有人会遇到我这样的问题。

装scrapy之前需要先装好python的环境。我用的是python3.6。

在Win7系统安装python的scrapy爬虫框架的时候。在CMD中用了一句 pip install scrapy。

结果出现了一大堆的消息。但是其中有一行是红色的。如我下面的截图所示。

 

报错红色字体部分:Failed building wheel for Twisted. 出现此类消息的原因是 scrapy爬虫框架需要很多的依赖库,出现该错误的原因就是缺少了相应的依赖库。

解决pip install scrapy无法顺利安装scrapy的途径,我采用的方法如下

1.我放弃采用pip install scrapy的方法,根据网上搜到的各个博客中所建议的,我用anaconda的方法来安装。因为该程序会自动的把许多依赖库给你下载下载下来,很方便。我下载了一个Anaconda的安装程序,

下载地址如下:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/。建议下载最新的并且与自己机器相符合的版本。

2.安装Anaconda的过程如下:

前面的一直点Next就好, 第一个勾是是否把Anaconda加入环境变量,这涉及到能否直接在cmd中使用conda、jupyter、ipython等命令,推荐打勾。 第二个勾的意思是否把Anaconda自带的Python3.6设置成系统默认的Python,这个不推荐打钩。之后等待数分钟就可以。

3.Anaconda安装好之后,如果你比较心急的用conda install scrapy。你还是成功安装不了,由于默认是在国外服务器下载,可能有的文件你下载到一半失败了。所以你需要先添加一下清华的镜像源。方法如下:

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/conda 

config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/conda 

config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/conda 

config --set show_channel_urls yes

4.配置好镜像源以后,再用conda install scrapy。就能顺利安装scrapy爬虫框架了。利用scrapy version能查看版本就说明安装成功。

猜你喜欢

转载自blog.csdn.net/sinat_32336967/article/details/80432685
今日推荐