python多任务启动之调度器

使用过schedule， 觉得没有apscheduler简单实用

schedule要等前面一个任务执行完才能执行下一个任务；
如果使用多线程或者多进程， 下一次定时任务会开启一个新的线程/进程，执行次数多了就会演变成灾难；

apscheduler的简单使用

# -*- coding: utf-8 -*-

import os
import time
from apscheduler.schedulers.background import BackgroundScheduler



def run_job(name):
    log.info("启动 {} job".format(name))
    os.system('scrapy crawl {}'.format(name))
    # 用多进程会内存溢出
    # 'scrapy crawl {}'.format(name), 用scrapy自带excute执行的会有信号问题


# 启动python脚本
def start_python_work():
    scheduler = BackgroundScheduler()
    for i in ['job_a', 'job_b', 'job_c']:
        scheduler.add_job(
            run_job, 'interval', seconds=4, kwargs={"name": i}
        )

    scheduler.start()
    while True:
        time.sleep(1)


if __name__ == "__main__":
    start_python_work()