python 通过chardet库识别判断文件编码类型

字符串编码一直是令人非常头疼的问题，尤其是我们在处理一些不规范的第三方网页的时候。虽然Python提供了Unicode表示的str和bytes两种数据类型，并且可以通过encode()和decode()方法转换，但是，在不知道编码的情况下，对bytes做decode()不好做。

对于未知编码的bytes，要把它转换成str，需要先“猜测”编码。猜测的方式是先收集各种编码的特征字符，根据特征字符判断，就能有很大概率“猜对”。

当然，我们肯定不能从头自己写这个检测编码的功能，这样做费时费力。chardet这个第三方库正好就派上了用场。用它来检测编码，简单易用。

代码如下：

import chardet #导包

f = open('new 2.txt','rb') #打开文件
for i in f: #取出内容，根据文件大小，可取一行进行判断
    a = chardet.detect(i)
    print a
f.close()

使用chardet检测编码非常容易，chardet支持检测中文、日文、韩文等多种语言。

虽然代码简单，但是对于ASCII和UTF-8编码检测貌似不太准确，具体看自己需要使用。