scrapyd的安装和部署

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/ywdhzxf/article/details/79431764

windows下scrapyd的安装和部署

1 安装

环境要求:
    python 2.6 以上
    Twisted  8.0 以上
    scrapy 
    setuptools
    scrapyd-client
 直接 pip install scrapyd 就可以
 在cmd输出scrapyd,然后在浏览器端访问  http://localhost:6800/   就可以成功访问

2 部署scrapy项目

scrapy startproject 项目名
然后会有一个scrapy.cfg的文件
![文件](http://img.blog.csdn.net/20180303173818819?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXdkaHp4Zg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)

好了之后在cmd项目目录直接启动scrapyd,然后再打开新的cmd进行项目部署
    ![启动成功](http://img.blog.csdn.net/20180303173154636?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXdkaHp4Zg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
项目部署直接通过scrapyd-deploy进行部署即可,找到安装好的scrapyd-client文件夹,在site-packages里面,打开把 scrapyd-deploy 复制到 C:\Python27\Scripts(自己的python安装目录)下,然后新建文件 scrapyd-deploy.bat ,在里面输入
    @echo off 
    "C:\Python27\python.exe" "C:\Python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
里面的路径同样是你的python安装路径

3 使用scrapyd-deploy进行部署

同样是cmd进入scrapy项目路径,指令格式为 scrapyd-deploy <target> -p <project> 
* target就是配置文件的deploy的名称，针对上面的配置就是demo 
* project如果不输就是配置文件中的project

本例部署的指令：scrapyd-deploy demo 
    ![部署成功](http://img.blog.csdn.net/20180303173212409?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQveXdkaHp4Zg==/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70)
如果部署失败请参考  http://blog.csdn.net/ywdhzxf/article/details/79430378

部署成功后就可以在scrapy项目里看见一个eggs文件夹,里面所存放的就是scrapyd-deploy的工程打包成.egg的文件，可以看到version就是文件的名称，每当我们执行一次scrapyd-deploy就会生成一个新的egg

4 运行Spider

我就随便写了一个进行测试,爬虫名叫 bai_spider,，现在就可以用API中的请求去调用或者执行爬虫了，这里以schedule.json为示例(详细参数http://scrapyd.readthedocs.io/en/stable/api.html#schedule-json)： 
    curl http://localhost:6800/schedule.json -d project=fei -d spider=bai_spider

curlwindows安装指南    http://blog.csdn.net/ywdhzxf/article/details/79431414

    返回OK就成功了,可以通过scrapyd的jobs目录查看爬虫的运行情况


参考博客:   http://blog.csdn.net/u013708440/article/details/53425655