学习 scrapy 第一课

安装
直接使用pycharm安装的步骤

File -> Setting -> project:yourProjectName -> 点击加号 ->输入你需要的包(我这里输入 scrapy)

然后直接安装即可,如果出现下面的报错
在这里插入图片描述
说明是超时了,这大概率上是pip源的问题。可以搜索 pip更换国内源 的方案进行解决。在更换好源之后,我再次执行,发生的错误就发生了变化
在这里插入图片描述
可见,pip源超时的问题已经解决掉了。好了,以上内容只是常见包的安装手段,对于scrapy我使用的是其他办法安装完成的。

如果在报错信息中,你会找到

error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": http://landinghub.visualstudio.com/visual-cpp-build-tools

这样的信息,你需要到 http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载twisted对应版本的whl文件,例如我的python版本是 3.6.2,所以我下载了这两个文件,
在这里插入图片描述
来到下载页,
在这里插入图片描述
执行
在这里插入图片描述
报错说

ERROR: Twisted-19.2.0-cp36-cp36m-win_amd64.whl is not a supported wheel on this platform.

可是,我记得我应该是64位操作系统才对
在这里插入图片描述
原来是,这里的 win32和win_amd64 的理解有问题,

Win32 -> 指的就是Windows系统;
64 bit- > 指的是Windows是64位的;
AMD64 -> 指的就是 CPU是x64的

我的电脑首先应该满足的是windows系统,所以应该使用 Twisted-19.2.0-cp36-cp36m-win32.whl 安装 Twisted
在这里插入图片描述
那么如何理解 amd64那个包呢?

因为python有很多native的包,就是不是纯python代码,用了诸如c/c++的代码,然后编译成库给py文件调用的,这样在安装的时候就要区分包的平台:库在windows上多是dll,在linux等是so,在macos是dylib。win-amd64就是CPU是AMD64兼容的架构并在windows上运行,win是windows,还可以有其他比如darwin是macos,linux是linux;amd64是CPU平台,还可能有arm,x86,x86_64等的

然后使用pip安装 scrapy就可以了,安装完成的截图如下:
在这里插入图片描述

我这里使用了 pip临时源

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

值得提醒的是,每个人在安装的过程中可能都会遇到不同的报错信息。所以我们需要掌握的是找到错误关键字儿,然后到百度或者谷歌上面搜索即可。例如,我在之前安装 scrapy的时候,
在这里插入图片描述
出现了这样的错误,那么就把这个error原封不动拿到搜索引擎里面去搜索就行了。据我观察,这种错误普遍在报错信息的末尾或者开头,从上面的例子中可以看到,超时异常实际上是在报错信息开头打印的。

猜你喜欢

转载自blog.csdn.net/xielinrui123/article/details/89532723