ubuntu14.04下，python3安装scrapy教程

写在前面

最近开始进行python系统的学习，第一个就想玩儿一下美名远扬的爬虫，自然就接触了scrapy，感觉scrapy的支持还是不错的，有专门的tutorial，而且资料还挺多，上手也是很快，很快就照葫芦画瓢，照着知乎上一篇python3的代码撸了一个python2的程序，其中涉及到几处包名的问题，这里也就不祥说了，总之是写出来了。但是后面发现大多数的程序都还是按照python3的程序风格走的，因此狠下了心要整了下python3和scrapy的环境安装，发现其中真的是“奥妙无穷”，网上只言片语的博客和教程在我这儿就各种出错，心里真的是1e1000个草尼马奔腾而过，好在终于克服，特此记录，希望帮助后来的人能不再踩坑。

python2和python3的切换

首先就是python2和python3的切换，windows下的朋友可能还好说，Anaconda能很好的解决这个问题，但是ubuntu下就没有那么好的东西了，不过不要慌，仅仅两句话就能解决该问题。

在shell中执行以下两句话（PS：前面的/urs/bin/python是固定的，后面的/usr/bin/python2(3)是自己的安装目录，一般在这里，不在的话请更换）

sudo update-alternatives --install /usr/bin/python python /usr/bin/python2 100
sudo update-alternatives --install /usr/bin/python python /usr/bin/python3 150

之后再输入以下命令进行选择

sudo update-alternatives --config python

这时候会有一个列表，输入相应的序号就可以切换啦，有时候系统会提示类似于已经锁定了，没有可选的这样的信息，这时你就不用管了，说明已经切换成功了，最保险的方法判断是否切换成功就是直接在终端里面输入python，之后看版本号～

如图所示，我的已经切换到3.4.3版本了。

正式开始安装

第一步：安装依赖项

sudo apt-get install python3 python3-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev

第二步：安装pip3

sudo apt-get install python3-pip

之后要进行pip更新（这里有些教程上说不必要，个人感觉还是很必要的，不然后面的下载会有问题，且尽量加上--default-timeout=100，不然有时候会报出timeout的错误）

sudo pip3 --default-timeout=100 install –upgrade pip

第三步：下载scrapy

sudo pip3 --default-timeout=100 install scrapy

这里也尽量加上timeout的设定，否则也会报出timeout的错误。

第四步：验证

最基础的验证就是直接在终端中输入

scrapy

如果出现一堆useage则说明scrapy安装成功（正常情况下只要第三步最后没有红色的报错以及最后出现了clean up的字样，都可以成功）。

然后比较深层次的就是创建一个新的工程

scrapy startproject yourProjectName

正常情况下会只出现两行信息告诉你成功，非正常情况下就是下面的问题3（个人安装成功后在创建工程时只出现了问题3这样的问题），如果是其他问题，那么还请baidu，bing加google了。

下面就是本篇博客的干货了——安装问题

问题1：timeout问题

解决方法：在pip和install之间加上--default-timeout=100，即把timeout的时间加长。

问题2：Command python setup.py egg_info failed with error code 1 in /tmp/pip_build_root/cryptography

解决方法：在终端中运行

sudo pip install --upgrade setuptools

问题3：ImportError: cannot import name 'certificate_transparency'

解决方法：先把上述步骤中第二步的upgrade命令运行一下，之后再进行scrapy的下载，这时候会发现这厮又多下了一些包，但是过程还算顺利，

ubuntu14.04下，python3安装scrapy教程

猜你喜欢