版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/a6864657/article/details/83111351
1Log信息
如何查看log日志信息？
LOG_ENABLED 是否开启log
LOG_ENCODING 编码格式
2)重要
LOG_FILE log文件路径
LOG_LEVEL
CRITICAL - 严重错误(critical)
ERROR - 一般错误(regular errors)
WARNING - 警告信息(warning messages)
INFO - 一般信息(informational messages)
DEBUG - 调试信息(debugging messages)
4.2部署时可能用到的setting配置项
CONCURRENT_REQUESTS 下载器并发数量设置，默认16
DEPTH_LIMIT 爬取深度
DOWNLOAD_TIMEOUT 下载超时
CONCURRENT_ITEMS item管道同时处理item数量
CONCURRENT_REQUESTS_PER_DOMAIN 域名的并发请求
CONCURRENT_REQUESTS_PER_IP ip的并发请求数量