python爬虫----小白学习心得

1.python将爬虫记录保存至文件的问题

  在python中，所有字符的编码都是Unicode，而网页上得到的数据流往往都是utf-8格式，所以，需要使用decode（）将字符编码转化为Unicode，

而文件的打开默认为是gbk编码，在文件的保存过程中会出现编码字符不统一导致文件无法写入的问题，解决方法如下：

 

open(save_path,'w',encoding='utf-8')

在打开文件时添加encoding='utf-8' 即可解决