Scrapy安装配置

Scrapy安装配置

一、安转Twisted

pip install Twisted 出错：error: Microsoft Visual C++ is required

参考博客：http://blog.csdn.net/WelcomeToHebei/article/details/48827847，并不需要安装这个软件。

打开网址：http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted，这个里面提供了许多python需要用到的运行环境文件。

Ctrl+F查找Twisted，下载与python版本相对应的版本，我的是python3.5。

注意如果下错了版本会报错：wisted-17.5.0-cp36-cp36m-win32.whl is not a supported wheel on this platform.

在cmd中输入命令行安装：

pip install F:\360Downloads\Software\Twisted-17.5.0-cp36-cp36m-win32.whl

终于不要再忍受安装不了还出各式各样的错误的情况啦！！

二、安装Scrapy

1、在cmd中输入命令： pip install scrapy

看到Successfully installed Scrapy-1.4.0 queuelib-1.4.2就安装好了

2、安装关联模块pypiwin32，输入命令： pip install pypiwin32

Successfully installed pypiwin32-219 安装成功

三、创建项目

在开始爬取之前，您必须创建一个新的Scrapy项目。 进入您打算存储代码的目录中，运行下列命令:

scrapy startproject tutorial

上面只是个警告而不是错误

该命令将会创建一个 tutorial 目录:

第一个tutorial的内容如下：

第二个tutorial的内容如下：

这些文件的作用如下：

学习网址：Scrapy入门教程http://scrapy-chs.readthedocs.io/zh_CN/0.24/intro/tutorial.html