记录一些最近用过的编码转换

记录一些之前遇到的编码解码方法，当速查表。
如果谁有更好的方法欢迎留言告知。

URL编码

‘%E4%BD%A0’【urllib.request.unquote(xxx)】

很常见，你用百度随便搜点什么，在看一下上面的地址栏里面，你要搜索的文字就是被转码成这种格式的。

解码：

>>> import urllib.request
>>> urllib.request.unquote('http%3a%2f%2fwww.baidu.com%2fs%3fwd%3d%E4%BD%A0%E5%A5%BD')
'http://www.baidu.com/s?wd=你好'

#如果用的是requests库，则
>>> import requests 
>>> requests.utils.unquote()

编码：

>>> import urllib.request
>>> urllib.request.quote('你好')
'%E4%BD%A0%E5%A5%BD'

题外话：

电脑里翻到不知道多少年前的通讯录备份文件(*.vcf)，想看看都有啥。用文本编辑器打开发现姓名的编码都显示成=E5=8D=8E=E4=B8=BA这种格式。

vcf = '''BEGIN:VCARD
VERSION:2.1
N;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:;=E5=BE=AE=E6=98=9F=E5=94=AE=E5=90=8E=E7=BB=B4=E4=BF=AE=E7=AB=99;;;
FN;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:=E5=BE=AE=E6=98=9F=E5=94=AE=E5=90=8E=E7=BB=B4=E4=BF=AE=E7=AB=99
TEL;WORK:010 6250 9074
ORG;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:=E5=8C=97=E4=BA=AC=E4=B8=AD=E5=85=B3=E6=9D=91=20=E5=8C=97=E4=BA=AC=E5=
=B8=82=E6=B5=B7=E6=B7=80=E5=8C=BA=E4=B8=AD=E5=85=B3=E6=9D=91=E7=A7=91=
=E5=AD=A6=E9=99=A2=E5=8D=97=E8=B7=AF=35=35=E5=8F=B7=C2=A0
END:VCARD
BEGIN:VCARD
VERSION:2.1
N;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:=E5=8D=8E=E4=B8=BA;=E5=AE=A2=E6=9C=8D;;;
FN;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:=E5=8D=8E=E4=B8=BA=E5=AE=A2=E6=9C=8D
TEL;CELL:4008308300
EMAIL;HOME:[email protected]
ADR;WORK;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:;;=E6=B7=B1=E5=9C=B3=E5=B8=82=E9=BE=99=E5=B2=97=E5=8C=BA=E5=9D=82=E7=94=
=B0=E5=8D=8E=E4=B8=BA=E5=9F=BA=E5=9C=B0;;;;
ADR;WORK;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:;;=E6=B7=B1=E5=9C=B3=E5=B8=82=E9=BE=99=E5=B2=97=E5=8C=BA=E5=9D=82=E7=94=
=B0=E5=8D=8E=E4=B8=BA=E5=9F=BA=E5=9C=B0;;;;
END:VCARD'''

看到CHARSET=UTF-8这种写法，果断试着把=替换成%，发现还真就是url编码。

写个小程序运行一下

import re
import urllib.request
vcf = vcf.replace('=\n=','=')
names = re.findall('(=[\w=]+)',vcf)
for name in names:
    if name[3:4]=='=':
        name_new = name.replace('=','%')
        name_new = urllib.request.unquote(name_new)
        vcf = vcf.replace(name,name_new,1)
print(vcf)

然后一目了然。

BEGIN:VCARD
VERSION:2.1
N;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:;微星售后维修站;;;
FN;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:微星售后维修站
TEL;WORK:010 6250 9074
ORG;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:北京中关村 北京市海淀区中关村科学院南路55号 
END:VCARD
BEGIN:VCARD
VERSION:2.1
N;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:华为;客服;;;
FN;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:华为客服
TEL;CELL:4008308300
EMAIL;HOME:mobile@huawei.com
ADR;WORK;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:;;深圳市龙岗区坂田华为基地;;;;
ADR;WORK;CHARSET=UTF-8;ENCODING=QUOTED-PRINTABLE:;;深圳市龙岗区坂田华为基地;;;;
END:VCARD

Unicode编码

\u6ee1【xxx.encode().decode(‘unicode_escape’)】

有些时候你会遇到这样的文字

{"dataHtml":"<li …… 38371c4c411.jpg\" alt=\"\u6ee1\u6c49\u5168\u5e2d\"\/><\/a><p class=\" …… }

‘\uxxxx’在实际生活遇到的很多都是中文的Unicode编码。一般用json模块加载的时候，可以自动转换处理的。如果不是在json中遇到的，可以这样解码：

>>> r'\u6ee1\u6c49\u5168\u5e2d'.encode().decode('unicode_escape')
满汉全席

html转义字符

& amp ;【html.parser.HTMLParser().unescape(xxx)】

因为&等字符在html代码中是有特殊含义的符号，因此作为文字显示的时候，在源代码中用转义字符的方式显示。

解码方式如下：

>>> import html.parser
>>> html_parser = html.parser.HTMLParser()
>>> html_parser.unescape('~^&omega;^~')
'~^ω^~'

有的网页比较恶心，还会遇到二次转义的，比如&omega;这种。对于需要处理多次的，直接写了个函数。

import html.parser
def html_unescapeEntities(string):
    str_new = string
    str_old = ''
    while str_old != str_new:
        str_old = str_new
        str_new = html.parser.HTMLParser().unescape(str_old)
    return str_new

>>> html_unescapeEntities('&amp;omega;')
'ω'
# 成功得到字符ω

至于编码，试着用encode方法写出来了，实际使用中还没遇到过非要手动转义的情况：

>>> str('ω'.encode('ascii', 'xmlcharrefreplace'),'ascii')
'&#969;'

字节集

b’\xd5\xfd’【xxx.decode([encoding])】

先说一下怎么解码的

如果是在网页中遇到的，看一下网页源代码通常会有这样的东西：

<meta http-equiv="content-type" content="text/html;charset=gb2312">

其中charset就是编码格式，参照下面的写法解码就行了。

>>> b'\xd5\xfd'.decode('gb2312')
'正'

说几句废话。

偶尔碰到有人问\xbb\xbb这个怎么解码，我觉得最好是先明确这么一个概念：

b’\xd5\xfd’ 是纯粹计算机的数据格式。

你要说它是数字，也可以。它就是16进制的 d5fd，二进制的 1101010111111101。文字要经过编码才能存到计算机里，我想你一定还记得电脑只能存’01010101’这回事吧。

那磁盘或内存上的’0101’是怎么转换为文字呢？

看过谍战片的都知道，电视剧里情报员通过电台听到“3379 3728”之类密码后，拿着一本书按照数字指定的页数行数把密码翻译出来。

解码也一样，数字“d5fd”就是密码，只有当知道解码的书是《GBK》的时候，你才能正确的解出来。

>>> b'\xd5\xfd'.decode('gbk')
'正'

否则……

>>> b'\xd5\xfd'.decode('big5')
'淏'
>>> b'\xd5\xfd'.decode('IBM1026')
'NÙ'
>>> b'\xd5\xfd'.decode('EUC-KR')
'攣'
>>> b'\xd5\xfd'.decode('EUC_JP')
'屎'

所以问 ”\xd5\xfd是什么？“ ，就好比在问 “第213页15行第13字是什么？” ，这么点信息鬼知道是神马啊！屎啊？ (╯╰_╯)╯╧╧

但就日常而言，虽然编码的种类非常多，但我们接触到的很有限。如果不知道编码，建议你可以GBK、UTF-8、BIG5挨个试试 (ΦωΦ)。
或者用第三方库，比如chardet来判断编码类型。

>>> import chardet
>>> phase = '使用 chardet 可以很方便的实现字符串/文件的编码'
>>> aaa = phase.encode('gbk')
>>> bbb = phase.encode('utf-8')
>>> chardet.detect(aaa)
{'encoding': 'GB2312', 'confidence': 0.99}
>>> chardet.detect(bbb)
{'encoding': 'utf-8', 'confidence': 0.99}

看到结论了吧，chardet会很谦虚的对你说”(๑>◡<๑) 我99%肯定这是XX编码的”。

那么chardet就一定对吗？答案是否定的。
chardet从来不100%confidence是什么编码，意思就是告诉你还是有可能存在意外的，使用的时候还需注意。比如：

>>> import chardet
>>> phase = '使用 chardet 可以很方便的實現字符串'.encode('gbk')
>>> print(chardet.detect(phase))
{'confidence': 0.99, 'encoding': 'GB2312'}

很明显这是错的，因为gb2312是解不了繁体字的。

GB2312只支持简体中文，GBK支持简中、繁中，GB18030支持简中、繁中、藏文、蒙文、维吾尔文等。也就是说从GB2312（1980年）、GBK（1995年）到GB18030（2000年），这些编码方法是向下兼容的。

另外，简体windows下的ANSI同样表示GB2312。不同的国家和地区制定了不同的标准，由此产生了 GB2312, BIG5, JIS 等各自的编码标准。这些使用 2 个字节来代表一个字符的各种汉字延伸编码方式，称为 ANSI 编码。在简体中文系统下，ANSI 编码代表 GB2312 编码，在日文操作系统下，ANSI 编码代表 JIS 编码。繁体中文操作系统是BIG5.

跑码小程序

最后写个小程序，以后遇到不知道编码的字节集，大可放进去跑跑试试。

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import chardet

def decodetest1(byte):
    aaa='''IBM037|IBM437|IBM500|ASMO-708|DOS-720|ibm737|ibm775|ibm850|ibm852|IBM855|ibm857|IBM00858|IBM860|ibm861|DOS-862|IBM863|IBM864|IBM865|cp866|ibm869|IBM870|windows-874|cp875|shift_jis|ks_c_5601-1987|big5|IBM1026|IBM01047|IBM01140|IBM01141|IBM01142|IBM01143|IBM01144|IBM01145|IBM01146|IBM01147|IBM01148|IBM01149|utf-16|unicodeFFFE|windows-1250|windows-1251|windows-1252|windows-1253|windows-1254|windows-1255|windows-1256|windows-1257|windows-1258|Johab|macintosh|x-mac-japanese|x-mac-chinesetrad|x-mac-korean|x-mac-arabic|x-mac-hebrew|x-mac-greek|x-mac-cyrillic|x-mac-chinesesimp|x-mac-romanian|x-mac-ukrainian|x-mac-thai|x-mac-ce|x-mac-icelandic|x-mac-turkish|x-mac-croatian|utf-32|utf-32BE|x-Chinese_CNS|x-cp20001|x_Chinese-Eten|x-cp20003|x-cp20004|x-cp20005|x-IA5|x-IA5-German|x-IA5-Swedish|x-IA5-Norwegian|us-ascii|x-cp20261|x-cp20269|IBM273|IBM277|IBM278|IBM280|IBM284|IBM285|IBM290|IBM297|IBM420|IBM423|IBM424|x-EBCDIC-KoreanExtended|IBM-Thai|koi8-r|IBM871|IBM880|IBM905|IBM00924|EUC-JP|x-cp20936|x-cp20949|cp1025|koi8-u|iso-8859-1|iso-8859-2|iso-8859-3|iso-8859-4|iso-8859-5|iso-8859-6|iso-8859-7|iso-8859-8|iso-8859-9|iso-8859-13|iso-8859-15|x-Europa|iso-8859-8-i|iso-2022-jp|csISO2022JP|iso-2022-jp|iso-2022-kr|x-cp50227|euc-jp|EUC-CN|euc-kr|hz-gb-2312|gb2312|gbk|GB18030|x-iscii-de|x-iscii-be|x-iscii-ta|x-iscii-te|x-iscii-as|x-iscii-or|x-iscii-ka|x-iscii-ma|x-iscii-gu|x-iscii-pa|utf-7|utf-8'''
    for encoding in aaa.split('|'):
        try:
            sss = byte.decode(encoding)
            print('%15s  %s'% (encoding,sss))
        except:
            pass
    print(chardet.detect(byte))

def decodetest2(text):
    code_arr='''shift_jis|koi8-r|euc-kr|euc-jp|ISO-2022-JP|big5|GB18030|utf-8|utf-16|utf-32'''.split('|')
    for c1 in code_arr:
        for c2 in code_arr:
            if c1!=c2:
                try:
                    sss = text.encode(c1).decode(c2)
                    print('%10s  %10s  %s'% (c1,c2,sss))
                except:
                    pass

if __name__ == '__main__':
    decodetest1(b'\xba\xf3\xc7\xda\xb9\xdc\xc0\xed')
    #decodetest2('鍏抽棴')

结果如下：

            ……  ……
      macintosh  ∫Û«⁄π‹¿Ì
   x-mac-korean  빈핸밗잿
         IBM273  ¬3G¹¾}äÒ
         koi8-r  ╨Сгз╧эюМ
         EUC-JP  朔輩砿尖
         koi8-u  ╨Сгз╧эюМ
     iso-8859-1  ºóÇÚ¹ÜÀí
     iso-8859-2  şóÇÚšÜŔí
     iso-8859-3  şóÇÚıÜÀí
     iso-8859-4  ēķĮÚšÜĀí
     iso-8859-5  КѓЧкЙмРэ
     iso-8859-7  ΊσΗΪΉάΐν
     iso-8859-9  ºóÇÚ¹ÜÀí
    iso-8859-13  ŗóĒŚ¹ÜĄķ
    iso-8859-15  ºóÇÚ¹ÜÀí
         euc-jp  朔輩砿尖
         EUC-CN  后勤管理
         euc-kr  빈핸밗잿
         gb2312  后勤管理
            gbk  后勤管理
        GB18030  后勤管理
{'confidence': 0.0, 'encoding': None}
[Finished in 0.2s]