scrapy框架设置代理IP 和 日志输出控制案例

代理IP

1. 在中间件midlewares文件中添加类,模仿自带的中间件写

# 自定义下载中间件，实现process_request()添加代理ip

class MyProxy(object):
    '''代理IP设置'''
    def process_request(self, request, spider):
        # 更换代理ip
        request.meta['proxy'] = 'http://87.128.41.56:80'

2. setting中配置中间件，解开注释

# 下载中间件 替换代理ip  把后面的自定义名字替换即可
DOWNLOADER_MIDDLEWARES = {
   'proxyPro.middlewares.MyProxy': 543,
}

日志等级

• ERROR： 错误
• WARNING： 警告
• INFO: 一般信息
• DEBUG: 调试信息（默认输出）

setting 中加

# 指定终端输出日志
LOG_LEVEL = 'ERROR'

# 日志存储指定位置
LOG_FILE = 'log.txt'