python 修改scrapy结束时显示开始时间,结束时间,添加耗费时间

scrapy运行结束后都会显示一堆信息,原来里面是有时间的,但是!

那个时间是用utc的(0时区),不是我们平时用的,而且还没有运行时间,所以我翻了下,改了代码,感觉还行!


修改后的代码为

def spider_opened(self, spider):
    self.start=time.time()
    start_time=time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.start)) #转化格式
    self.stats.set_value('start_time', start_time, spider=spider)


def spider_closed(self, spider, reason):
    self.end = time.time()
    finish_time = time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(self.end)) #转化格式
    self.stats.set_value('finish_time', finish_time, spider=spider)
    self.stats.set_value('finish_reason', reason, spider=spider)

    #这是计算此时运行耗费多长时间,特意转化为 时::    Total_time=self.end-self.start
    m, s = divmod(Total_time, 60)
    h, m = divmod(m, 60)
    self.stats.set_value('Total_time', "共耗时===>%d:%02d:%02d" % (h, m, s), spider=spider)


效果如下,还OK


猜你喜欢

转载自blog.csdn.net/qq_38282706/article/details/80942613