Scrapy框架的学习(7. 了解Scrapy中的debug信息以及Scrapy shell的使用)

  认识程序中的debug信息

 https://blog.csdn.net/wei18791957243/article/details/86157707  这个博客里写了，怎么关闭这些debug信息

因为在Scrapy中默认是开启debug信息的

 

扫描二维码关注公众号，回复： 4903176 查看本文章

 Scrapy shell的使用

 退出到爬虫项目的根目录的上一级目录

scrapy shell 网站地址        例如： scrapy shell http://quotes.toscrape.com/

如果电脑上装的Ipython就进入Ipython，没有就进入Python Sell

 执行上面的命令后，会打印一堆debug信息以及可用的爬虫对象

1. 然后即可以进行使用爬虫对象对应的方法

  response对象

'''当前响应的url地址'''
response.url
'''返回请求的url网页源码，注意类型是str类型'''
response.text
'''返回请求的url网页源码，注意类型是bytes类型'''
response.body
'''也可以测试xpath是否写的正确'''
response.xpath().extract()
'''当前响应对应的请求的url地址'''
response.request.url：
'''响应头'''
response.headers：
'''当前响应的请求头'''
response.requests.headers：

spider对象

'''爬虫的名字，没有指定就是default''' 
spider.name
'''打印log信息'''
spider.log()
''''''

   还有其他的一些对象以及对应的请求, 我们可以

  在shell中输入对象后然后按Tab键就可以看它对应的所有方法