调试Scrapy方法

编辑器，IDE调试Scrapy方法

目前手里使用VSCode和PyCharm写程序

关于Scrapy调试，可以分别设置：

1、PyCharm：

　　在scrapy.cfg同级目录下，创建py文件，之后运行该文件即可，断点调试打在爬虫代码上

1 from scrapy import cmdline
2 
3 
4 cmdline.execute("scrapy crawl Spider_name".split())

2、VSCode：

　　在爬虫代码文件中，添加代码，直接运行即可https://doc.scrapy.org/en/latest/topics/practices.html

 1 import scrapy
 2 from scrapy.crawler import CrawlerProcess
 3 
 4 
 5 class LianJiaSpider(scrapy.Spider):
 6                  ......
 7 process = CrawlerProcess({
 8     'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)'
 9 })
10 
11 process.crawl(LianJiaSpider)
12 process.start()