使用scrapy中遇到的坑总结

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/XUEER88888888888888/article/details/84202259

scrapy中文文档：https://scrapy-chs.readthedocs.io/zh_CN/0.24/topics/commands.html

1，创建爬虫注意事项

2.没有cd到项目根目录，因为crawl会去搜搜cmd目录下的scrapy.cfg

运行报错：Unhandled error in Deferred:

UnicodeEncodeError: ‘gbk’ codec can’t encode character u’\xa0’ in position 148:

response.text.replace(u'\xa0',u' ')