Windows10下安装爬虫框架scrapy

本萌在使用pip命令安装scrapy时报错安装失败,遍寻解决方式最后终于成功,贴出我的解决方式供大家参考吧~~


具体步骤:(命令都是在cmd输入的,后面就不再说明了)

1.pip安装和升级

pip(http://pip.readthedocs.org/en/latest/)是用于管理Python共享代码和库的命令行工具,是开源软件文化的一个重要组成部分。Windows上可能已经安装了pip(Windows的Python安装包自带pip)。

①安装

要检查是否安装了pip,你可以输入命令:pip install ipython,如果系统报错的话,去下载pip安装脚本,然后执行下面的操作;如果没有报错直接进行②。

然后在cmd中输入命令:chdir  C:\Users\YOURNAME\Downloads将目录切换到Downloads文件夹(YOURNAME是计算机主目录的名字,这一步就是切换到下载了pip的那个目录),接下来输入命令:python get get-pip.py来运行下载的文件。

这样pip安装工作就已经基本完成。

②升级

输入命令:pip show pip可以查看pip的版本,如果不是最新版最后会有提示如下:

输入命令:python -m pip install --upgrade pip可以升级pip到最新版本。

2.安装pypiwin32

输入命令:pip install pypiwin32

关于pypiwin32,官网的介绍是:Python extensions for Microsoft Windows Provides access to much of the Win32 API, the ability to create and use COM objects, and the Pythonwin environment.(Microsoft Windows的Python扩展提供对大部分Win32 API的访问,创建和使用COM对象的能力以及Pythonwin环境。),所以不论电脑是32位还是64位都可以选择安装。

3.安装Twisted

Twisted是用Python实现的基于事件驱动的网络引擎框架。

①离线安装方式:

下载twisted对应版本的whl文件(如我的下载的是:Twisted-18.7.0-cp36-cp36m-win_amd64.whl),cp后面是python版本,win32代表32位系统,win_amd64代表64位,文件位置放在当前cmd目录下,输入命令:pip install Twisted-18.7.0-cp36-cp36m-win_amd64.whl

whl文件下载地址:https://www.lfd.uci.edu/~gohlke/pythonlibs/

②在线安装方式:

直接输入命令:pip install Twisted

我当时使用的是这种方式,但是安装失败报错,缺少生成工具,需要安装Microsoft Visual C++ Build Tools。

我先是下载了一个vc++2017(下载地址:https://aka.ms/BuildTools),但是安装仍然报错,我认为是vc版本不兼容的问题,所以又下载几个vc++2015的相关工具(下载地址:https://www.microsoft.com/zh-cn/download/confirmation.aspx?id=48145),神奇的是还是错,我这暴脾气= _ =不能惯着它,然后就放弃了这种方法(其实我还是不明白为什么会报错,如果有大神知道可以在下面留言给我解释解释~),最后直接选择上面方式①离线下载安装完成。

如果你想试试这个方式,可以在下载地址官网上找到下面这个生成工具下载安装,安装时右边可选栏中的win10sdk必须选上。

4.安装scrapy

输入命令:pip install scrapy


大功告成,Successfully installed PyDispatcher-2.0.5 cssselect-1.0.3 lxml-4.2.4 parsel-1.5.0 pyasn1-0.4.4 pyasn1-modules-0.2.2 scrapy-1.5.1 service-identity-17.0.0 w3lib-1.19.0,安装成功。但还是有个小遗憾,就是生成工具的报错问题还不知道是由什么引起的,待我有空再查查吧~~

#本文由博主原创,转载需注明!

猜你喜欢

转载自blog.csdn.net/ll_xh/article/details/81631978