爬虫实战一、Scrapy生产环境（CentOS7）搭建

一、CentOS7安装Scrapy

1.1、环境中准备：

• CentOS7（需联网）
• Python 2.7（CentOS7默认版本为Python 2.7.5）
  注意：Scrapy1.4.0以上依赖Python 2.7 or Python 3.3。如果使用CentOS6，CentOS6默认版本为Python 2.6。所以最好升级Python版本，升级教程请自行百度

1.2、安装setuptools

#下载setuptools
[root@docker200 ~]# wget -O setuptools-37.0.0.zip https://pypi.python.org/packages/7c/cb/bdfbb0b6a56459d5461768de824d4f40ec4c4c778f3a8fb0b84c25f03b68/setuptools-37.0.0.zip#md5=f905ca70d2db37b7284c0f6314ab6814
--2019-01-29 22:41:15--  https://pypi.python.org/packages/7c/cb/bdfbb0b6a56459d5461768de824d4f40ec4c4c778f3a8fb0b84c25f03b68/setuptools-37.0.0.zip

#解压进入
[root@docker200 ~]# unzip setuptools-37.0.0.zip && cd setuptools-37.0.0

#注意如果unzip没有安装，需要先安装unzip工具再执行上一步命令
[root@docker200 ~]# yum install -y unzip zip

#安装setuptools
[root@docker200 setuptools-37.0.0]# python setup.py install

1.3、安装pip

[root@docker200 ~]# wget -O pip-9.0.1.tar.gz https://pypi.python.org/packages/11/b6/abcb525026a4be042b486df43905d6893fb04f05aac21c32c638e939e447/pip-9.0.1.tar.gz#md5=35f01da33009719497f01a4ba69d63c9

[root@docker200 ~]# tar -zxvf pip-9.0.1.tar.gz && cd pip-9.0.1

[root@docker200 pip-9.0.1]# python setup.py install

1.4、安装Scrapy

[root@docker200 ~]# pip install scrapy

1.4.1、如果报以下警告，需要升级pip

You are using pip version 9.0.1, however version 19.0.1 is available.
You should consider upgrading via the 'pip install --upgrade pip' command.

升级pip

[root@docker200 ~]# python -m pip install --upgrade pip

1.4.2、如果报以下错误，需要安装gcc

error: Setup script exited with error: command ‘gcc’ failed with exit status 1

安装gcc

[root@docker200 ~]# yum install gcc libffi-devel python-devel openssl-devel

1.4.3、安装完毕再次安装Scrapy

[root@docker200 ~]# pip install scrapy

安装成功

图片.png

1.5、测试

导入scrapy成功

[root@docker200 ~]# python
Python 2.7.5 (default, Oct 30 2018, 23:45:53) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> import scrapy
>>>