（三）Python基础2：了解字符编码

2-str-code.py
# 了解字符编码
# 字符串也是一种数据类型，但是，字符串比较特殊的是还有一个编码问题。

# 因为计算机只能处理数字，如果要处理文本，就必须先把文本转换为数字才能处理。
# 最早的计算机在设计时采用8个比特（bit）作为一个字节（byte），所以，一个字节能表示的最大的整数就是255（二进制11111111=十进制255），
# 如果要表示更大的整数，就必须用更多的字节。比如两个字节可以表示的最大整数是65535，4个字节可以表示的最大整数是4294967295。

# 由于计算机是美国人发明的，因此，最早只有127个字符被编码到计算机里，也就是大小写英文字母、数字和一些符号，
# 这个编码表被称为ASCII编码，比如大写字母A的编码是65，小写字母z的编码是122。

# 但是要处理中文显然一个字节是不够的，至少需要两个字节，而且还不能和ASCII编码冲突，所以，中国制定了GB2312编码，用来把中文编进去。

# 你可以想得到的是，全世界有上百种语言，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里，
# 各国有各国的标准，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。

# 因此，Unicode应运而生。Unicode把所有语言都统一到一套编码里，这样就不会再有乱码问题了。

# Unicode标准也在不断发展，但最常用的是用两个字节表示一个字符（如果要用到非常偏僻的字符，就需要4个字节）。
# 现代操作系统和大多数编程语言都直接支持Unicode。

# 现在，捋一捋ASCII编码和Unicode编码的区别：ASCII编码是1个字节，而Unicode编码通常是2个字节。

# 字母A用ASCII编码是十进制的65，二进制的01000001；

# 字符0用ASCII编码是十进制的48，二进制的00110000，注意字符'0'和整数0是不同的；

# 汉字中已经超出了ASCII编码的范围，用Unicode编码是十进制的20013，二进制的01001110 00101101。

# 你可以猜测，如果把ASCII编码的A用Unicode编码，只需要在前面补0就可以，因此，A的Unicode编码是00000000 01000001。

# 新的问题又出现了：如果统一成Unicode编码，乱码问题从此消失了。但是，如果你写的文本基本上全部是英文的话，
# 用Unicode编码比ASCII编码需要多一倍的存储空间，在存储和传输上就十分不划算。

# 所以，本着节约的精神，又出现了把Unicode编码转化为“可变长编码”的UTF-8编码。
# UTF-8编码把一个Unicode字符根据不同的数字大小编码成1-6个字节，
# 常用的英文字母被编码成1个字节，汉字通常是3个字节，只有很生僻的字符才会被编码成4-6个字节。
# 如果你要传输的文本包含大量英文字符，用UTF-8编码就能节省空间：

# 三种编码字符比较
# 字符		ASCII			Unicode					UTF-8
#  A		01000001		00000000 01000001		01000001
#  中		x				01001110 00101101		11100100 10111000 10101101


# 1. 在最新的Python 3版本中，字符串是以Unicode编码的，也就是说，Python的字符串支持多语言，例如：
print('包含中文的str')

# 2. ord()函数获取字符的整数表示
print(ord('A'))  # 65
print(ord('中')) # 20013

# 3. chr()函数把编码转换为对应的字符
print(chr(66))  # B
print(chr(25991)) # 文
print(chr(0x43)) # C

# 如果知道字符的整数编码，还可以用十六进制这么写str:
print('\u4e2d\u6587') # '中文'


# 4. str => bytes

# 首先区分'ABC'和 b'ABC'
# 前者是str，字符串，因为本文本是Unicode编码，所以前者'ABC'每个字符占两个字节
# 后者，字节码，虽然内容显示得和前者一样，但bytes的每个字符都只占用一个字节
# 如果不理解，再返回最上面理解字节和不同编码所占的字节数的区别

# a. 纯英文的str => bytes

# 以Unicode表示的str通过encode()方法可以编码为指定的bytes，例如：
print(b'ABC') # b'ABC'
print('ABC'.encode('ascii')) # b'ABC'


# b. 含有中文的str => bytes

# print('中文'.encode('ascii')) 
# 报错
# Traceback (most recent call last):
#   File "<stdin>", line 1, in <module>
# UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

print('中文'.encode('utf-8')) # b'\xe4\xb8\xad\xe6\x96\x87'
# 意思是纯英文的str可以用ASCII编码为bytes，内容是一样的，含有中文的str可以用UTF-8编码为bytes。
# 含有中文的str无法用ASCII编码，因为中文编码的范围超过了ASCII编码的范围，Python会报错。

# c. 在bytes中，无法显示为ASCII字符的字节，用\x##显示。能显示的就是指ASCII码对照表上能查到的(0-127) http://ascii.911cha.com/


# 5. bytes => str
# 要把bytes变为str，就需要用decode()方法
print(b'ABC'.decode('ascii')) # ABC

print(b'\xe4\xb8\xad\xe6\x96\x87'.decode('utf-8')) # 中文

###################################################################################
# 这里有一个问题要注意: 
# 如果输入 b'\xe4\xb8\xad\xff'.decode('utf-8'), 会报错
# Traceback (most recent call last):
#   ...
# UnicodeDecodeError: 'utf-8' codec can't decode byte 0xff in position 3: invalid start byte
# 不是所有字节码都能正常被utf-8编码识别 如这里的0xff
utf8str = b'\xe4\xb8\xad\xff'.decode('utf-8', errors='ignore')
print(utf8str) # 中

print(utf8str.encode('utf-8')) # b'\xe4\xb8\xad', 不能识别的 0xff被舍弃了
# 可以先记下, 一般不会用字节码直接转为utf-8编码, 后面接触到Base64编码处理再说

#  编码问题看不懂不用头疼，以后用到时慢慢理解  ^_^			
###################################################################################
（三）Python基础2：了解字符编码

猜你喜欢
