关于NLP的编码问题的思索

前几天，在尝试通过nltk工具包对唐诗进行一些处理分析的时候，遇到了编码解码方面的错误。错误如下，就是 UnicodeDecodeError: 'gbk' codec can't decode bytes in position 738868-738869: illegal multibyte s。

很明显，这是编码解码上的错误，于是去度娘那里仔细了解了一下编码解码方面的知识，得到了一个算是一劳永逸的解决思路：由于Python处理的字符都是Unicode编码，不管输入的文本是什么编码，把输入的文本解码为Unicode编码，然后输出时再编码为所需编码。

所以我在解决我的这个中文编码问题中，首先将输入的文本另存为utf-8格式之后，然后使用python处理解码为unicode，处理完后的结果写入文本时再编码为utf-8就可以了。

其中读取文本的代码片段为：

import codecs
lines = codecs.open(filename1,'r',encoding='utf-8')
for line in lines:
	print(line.encode('utf-8'))

写入文本的代码片段为：

with open(filename2, 'w') as lines:
	for line in list_s:
		lines.write(line.encode('utf-8')+'\n')

这样就完美解决了这个UnicodeDecode问题。