我们可以使用urllib和urllib2库以及正则表达式就可以完成初级的爬虫了。
但是借助工具，我们可以更加高效的完成。比如爬虫框架Scrapy。他的这安装过程也是很多坑，下面整理下，希望对大家有帮助。
Scrapy官网文档：http://doc.scrapy.org/en/latest/intro/install.html
1.用的最多的windows系统。也是最坑的。
1.安装Python
直接去官网下载Python.我用的是2.7版本。
下载地址：https://www.python.org/downloads/
下载完毕之后记得配置环境变量。配置好了之后，在命令行中输入 python –version，如果没有提示错误，则安装成功
2.接下来就要安装pywin32，windows系统必须安装。下载地址：http://sourceforge.net/projects/pywin32/
3.安装pip
pip是用来安装其他必要包的工具，首先下载 https://pypi.org/project/pip/
下载好之后，选中该文件所在路径，执行下面的命令
4.安装pyOPENSSL
地址：点击打开链接https://launchpad.net/pyopenssl
5.安装 lxml。直接运行
6.安装Scrapy
基本上就是这些。所以windows安装还是比较麻烦的。
---------------------------------------------分割线---------------------------------------------------------------
以下是linux安装：
1.安装python
sudo apt install python
2.安装pip
sudo apt install python-pip
3.安装Scrapy
sudo apt install Scrapy