在vscode中调试python scrapy爬虫

---

---

前言

直接在vscode中使用Debug是无法调试scrapy项目的，需要进行配置才能进行调试

---

一、vscode调试前的准备

1. 安装好 vscode 全称是 Visual Studio Code
2. 安装好python 3
3. 在vscode 中安装python3 的相关插件

二、使用步骤

1.使用vscode 打开scrapy项目

• 使用vscode 打开scrapy项目，打开的文件夹为 scrapy.cfg 的上一级目录，如下图片所示
  

2.创建启动爬虫文件

• 创建启动爬虫文件 main.py ，main.py 要与 scrapy.cfg 是同一级文件
  
  代码如下（示例）：

from scrapy.cmdline import execute
import sys
import os
# 获取当前脚本路径
dirpath = os.path.dirname(os.path.abspath(__file__))
#运行文件绝对路径
print(os.path.abspath(__file__))
#运行文件父路径
print(dirpath)
# 添加环境变量
sys.path.append(dirpath)
#切换工作目录
os.chdir(dirpath)
# 启动爬虫,第三个参数为爬虫name
execute(['scrapy','crawl','images'])

3.配置运行与调试

1. 一点击进入运行和调试窗口，二，点击创建 launch.json 文件
   

2. 选择 Python File
   

3. 编写 launch.json 文件

   只手动添加 name 是 Scrapy 的这部分，别的让其自动生成

代码如下（示例）：

{
    
    
    // 使用 IntelliSense 了解相关属性。 
    // 悬停以查看现有属性的描述。
    // 欲了解更多信息，请访问: https://go.microsoft.com/fwlink/?linkid=830387
    "version": "0.2.0",
    "configurations": [
    // 只手动添加 name 是 Scrapy 的这部分，别的让其自动生成 
        {
    
    
            "name": "Scrapy",
            "type": "python",
            "request": "launch",
            "module": "scrapy",
            // args 的第二个参数是爬虫 name
            "args": ["crawl", "images", "-o", "bikes.json"]
        },
        {
    
    
            "name": "Python: Current File",
            "type": "python",
            "request": "launch",
            "program": "${file}",
            "console": "integratedTerminal",
            "justMyCode": true
        }
    ]
}

4.启动调试

1. 点击左上角的方框选择刚刚配置好的 Scrapy ，最后点击方框左边的箭头就可进行入调试了（注：在开始调试前要在 scrapy 项目里加入断点）

5.运行情况

---

总结

以上就是今天要讲的内容，本文仅仅简单介绍了使用vscode调试scrapy项目