Python2.x 和 Python3.x 中关于字符编码的问题
1. 一些基本的概念
- 比特 / bit：计算机中最小的数据单位，是单个的二进制数值 0 或1
- 字节 / byte：计算机存储数据的单元，1 个字节由 8 个比特组成
- 字符：人类能够识别的符号
- 编码：将人类可识别的字符转换为机器可识别的字节码 / 字节序列
- 解码：编码的反向过程叫解码
- 概述：Unicode 是人类可识别的字符格式；ASCII 、UTF-8 、GBK 等都是机器可识别的字节码格式。我们写在文件中的 py3 代码，是由字符组成的，它们的格式，就是 Unicode，而字符是以字节为存储单位保存在文件中，文件保存在内存 / 物理磁盘中
2. 编码格式
Python2 的默认编码是 ASCII，不能识别中文字符，需要显式指定字符编码。
Python3 的默认编码为 Unicode，可以识别中文字符。
计算机内存中的数据，统一使用 Unicode 编码。
数据传输或保存到硬盘上，使用 UTF-8 编码。
3. 编码和解码
编码 / encode：将 Unicode 字符串转换为特定编码格式对应的字节码的过程。
解码 / decode：将特定编码格式的字节码转换为对应的 Unicode 字符串的过程。
In [1]: '美丽人生'.encode('gbk')
Out[1]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'
In [2]: b'\xc3\xc0\xc0\xf6\xc8\xcb\xc9\xfa'.decode('gbk')
Out[2]: '美丽人生'
In [3]: '美丽人生'.encode('utf-8')
Out[3]: b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f'
In [4]: b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f'.decode('utf-8')
Out[4]: '美丽人生'
In [5]: b'\xe7\xbe\x8e\xe4\xb8\xbd\xe4\xba\xba\xe7\x94\x9f'.decode('gbk').encode('u
...: tf-8')
Out[5]: b'\xe7\xbc\x87\xe5\xba\x9d\xe9\x99\x84\xe6\xb5\x9c\xe8\x99\xb9\xe6\x95\x93'上面这种以 b 开头的就是字节码，一个斜杠就是一个字节。可见，一个常用汉字用 GBK 格式编码后占 2 个字节，用 UTF-8 格式编码后占 3 个字节。因为存储或传输时，也用 UTF-8 编码，所以一个汉字占的空间就是 3 个字节。
字符串长度和字节码长度：
In [6]: len('美丽人生')
Out[6]: 4
In [7]: len(b'\xe7\xbc\x87\xe5\xba\x9d\xe9\x99\x84\xe6\xb5\x9c\xe8\x99\xb9\xe6\x95\x93')
Out[7]: 18
4. Python3 的默认编码
例如我们用编辑器打开一个文件，输入 a，这个 a 就是 Uincode 字符。当我们保存文件，这个字符就会根据编辑器的设置被转换为对应的编码格式的字节码保存到系统硬盘。这是一个 encode 过程
Python 解释器执行文件时，先将文件字节码按照指定的编码格式解码为字符，然后运行程序。这是一个 decode 过程
指定编码，在文件开头，例如：Python 文件通常这样写：# -*- coding:utf-8 -*-；HTML 文件通常这样写：<meta charset='utf-8'>，意思就是该文件是 UTF-8 编码格式，按这个格式解码
上文提到 Python3 的默认编码是 UTF-8。即如果文件未标明编码格式，解释器会自动按照 UTF-8来解码。当解释器无法通过指定的或默认的编码格式对文件进行转换 / 解码时，就会出现解码错误：UnicodeEncodeError