一台电脑启动多个scrapyd

window环境,python3.7.0

找到包安装目录下的scrapyd配置文件..\Python37\Lib\site-packages\scrapyd\default_scrapyd.conf

打开default_scrapyd.conf的配置如下,修改bind_address = 0.0..0.0(允许远程访问)

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6800
debug       = off
...
以下更多配置内容省略

复制default_scrapyd.conf这个配置文件到你要运行的scrapy项目目录下,并修改名字为scrapyd.conf

打开scrapyd.conf修改端口配置http_port = 6888,如下

[scrapyd]
eggs_dir    = eggs
logs_dir    = logs
items_dir   =
jobs_to_keep = 5
dbs_dir     = dbs
max_proc    = 0
max_proc_per_cpu = 4
finished_to_keep = 100
poll_interval = 5.0
bind_address = 0.0.0.0
http_port   = 6888
debug       = off
...
以下更多配置内容省略

在该scrapy项目目录下启动黑窗口,输入命令scrapyd -d 【scrapyd.conf所在的路径】

如下图,发现已经有6888启动scrapyd

在其他的项目同样的把scrapyd.conf复制过去,然后修改端口,然后项目目录启动。

后面scrapyd-deploy的时候,注意把项目里面的scrapy.conf文件里的端口号对应设置好就行。

猜你喜欢

转载自blog.csdn.net/qq_41928442/article/details/83012385
今日推荐