七、编码、文件

一、编码

1.1：内存和硬盘

• CPU： 从内存中读取程序的指令，然后解码并运行程序；
• 硬盘： 永久保存数据；
• 内存： 临时存储数据，任何程序运行都需事先加载到内存；
• 应用软件： 调用操作系统提供的接口；间接地使用计算机硬件，加载到内存中；
• 操作系统： 控制硬件，提供系统调用接口，加载到内存中；

1.2：文本编辑器存取文件的原理　　

　　例如（nodepad++,pycharm,word等），打开编辑器就可以启动一个进程，是在内存中的，所以在编辑器编写的内容也都是存放在内存中的，断电后数据就丢失了。因而需要保存在硬盘上，点击保存按钮或快捷键，就把内存中的数据保存到了硬盘上。在这一点上，我们编写的py文件（没有执行时），跟编写的其他文件没有什么区别，都只是编写一堆字符而已。

1.3：python解释器执行py文件的原理

例如python  、test.py：

　　第一阶段：python解释器启动，此时就相当于启动了一个文本编辑器；

　　第二阶段：python解释器相当于文本编辑器，去打开test.py，从硬盘上将test.py的文件内容读入到内存中；

　　第三阶段：python解释器执行刚刚加载到内存中的test.py的代码（在该阶段，即执行时，才会识别python的语法，执行到字符串时，会开辟内存空间存放字符串）；

python解释器与文本编辑器相同点：python解释器是解释执行文件内容的，因而python解释器具备读py文件的功能，这一点与文本编辑器一样；

python解释器与文本编辑器不同点：文本编辑器将文件内容读入内存后，是为了显示/编辑，而python解释器将文件内容读入内存后，是为了执行（识别python的语法）；

1.3：编码解释

　　计算机想要工作必须通电，高低电平（高电平即二进制数1，低电平即二进制数0），计算机只认识数字，让计算机读懂人类的字符就必须经过：字符---------（翻译过程）-------------数字，实际就是一个字符如何对应一个特定数字的标准，这个标准称之为字符编码。

　　1.一个python文件中的内容是由一堆字符组成的（python文件未执行时）

　　2.python中的数据类型字符串是由一串字符组成的（python文件执行时）

1.5：编码的发展史

阶段一：

1. 现代计算机起源于美国，最早诞生也是基于英文考虑的ASCII；
2. ASCII:一个Bytes代表一个字符（英文字符/键盘上的所有其他字符），1Bytes=8bit，8bit可以表示0-2**8-1种变化，即可以表示256个字符；
3. ASCII最初只用了后七位，127个数字，已经完全能够代表键盘上所有的字符了（英文字符/键盘的所有其他字符）；
4. 后来为了将拉丁文也编码进了ASCII表，将最高位也占用了；

阶段二:

1. 为了满足中文，中国人定制了GBK；
2. GBK:2Bytes代表一个字符，为了满足其他国家，各个国家纷纷定制了自己的编码，日本把日文编到Shift_JIS里，韩国把韩文编到Euc-kr里；

阶段三：

1. 各国有各国的标准，就会不可避免地出现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码；
2. 于是产生了unicode，　统一用2Bytes代表一个字符，　2**16-1=65535，可代表6万多个字符，因而兼容万国语言；
3. 但对于通篇都是英文的文本来说，这种编码方式无疑是多了一倍的存储空间（二进制最终都是以电或者磁的方式存储到存储介质中的）；
4. 于是产生了UTF-8，对英文字符只用1Bytes表示，对中文字符用3Bytes；

阶段四：

1. unicode：简单粗暴，多有的字符都是2Bytes,优点是字符--数字的转换速度快；缺点是占用空间大。
2. utf-8:精准，可变长，优点是节省空间；缺点是转换速度慢，因为每次转换都需要计算出需要多长Bytes才能够准确表示。
3. 内存中使用的编码是unicode，用空间换时间（程序都需要加载到内存才能运行，因而内存应该是越快越好）
4. 硬盘中或网络传输用utf-8，保证数据传输的稳定性。

1： 所有程序，最终都要加载到内存，程序保存到硬盘不同的国家用不同的编码格式，但是到内存中我们为了兼容万国（计算机可以运行任何国家的程序原因在于此），统一且固定使用unicode，
2： 这就是为何内存固定用unicode的原因，你可能会说兼容万国我可以用utf－8啊，可以，完全可以正常工作，之所以不用肯定是unicode比utf－8更高效啊（uicode固定用2个字节编码
3：utf－8则需要计算），但是unicode更浪费空间，没错，这就是用空间换时间的一种做法，而存放到硬盘，或者网络传输，都需要把unicode转成utf－8，
4： 因为数据的传输，追求的是稳定，高效，数据量越小数据传输就越靠谱，于是都转成utf－8格式的，而不是unicode。

View Code

1.6：字符编码转换

• 文件从内存刷到硬盘的操作简称存文件
• 文件从硬盘读到内存的操作简称读文件
• 乱码：存文件时就已经乱码 或者 存文件时不乱码而读文件时乱码

ascii：数字，字母 特殊字符。
      字节：8位表示一个字节。
      字符：是你看到的内容的最小组成单位。
        abc ： a 一个字符。
        中国：中 一个字符。
          a : 0000 1011

unicode: 万国码
    起初：   
　　　　a : 0000 1011 0000 1011
       中: 0000 1011 0000 1111
    升级：   
　　　　a : 0000 1011 0000 1011 0000 1011 0000 1011
       中: 0000 1011 0000 1111 0000 1011 0000 1011

utf-8：最少用8位表示一个字符。
         a: 0000 1011
      欧洲： 0000 1011 0000 1011
     亚洲中：0000 1011 0000 1011 0000 1011

gbk：国标
         a: 0000 1011
        中文：0000 1011 0000 1011 两个字节。

• 不同编码之间的二进制是不能互相识别的。
• 对于文件的存储，及传输不能是unicode的编码。

    python3x
        int
        bool
        bytes:内部编码方式：(非unicode，utf-8,gbk.gb2312...)
        str : 内部编码方式unicode
        list
        dict
        tuple

bytes:内部编码方式：(非unicode，utf-8,gbk.gb2312...)
str : 内部编码方式unicode

对于字母

str：

• 表现形式：s1 = 'alex'
• 内部编码：unicode

bytes：

• 表现形式：s2 = b'alex'
• 内部编码：非unicode

对于中文

str：

• 表现形式：s1 = '中国'
• 内部编码：unicode

bytes：

• 表现形式：b1 = b'\xe4\xb8\xad\xe5\x9b\xbd'
• 内部编码：非unicode

 例子：

unicode和utf-8之间的转换：

s1 = 'alex'
#将alex从unicode编码转换为utf-8
b1 = s1.encode('utf-8')
print(b1)
#输出结果：
b'alex'

s1 = 'alex'
b1 = b'alex'
print(s1.capitalize())
print(b1.capitalize())
#输出结果：
Alex
b'Alex'

s2 = '中国'
b2 = s2.encode('utf-8')
print(b2)
#输出结果：
b'\xe4\xb8\xad\xe5\x9b\xbd'

unicode----->utf-8------>unicode

s1 = 'alex'
# str ---> bytes encode 编码
b1 = s1.encode('utf-8')
print(b1)
#bytes---> str  decode 解码
s2 = b1.decode('utf-8')
print(s2)
#输出结果：
b'alex'
alex

Unicode、gbk、utf-8之间的转换：

s1 = 'alex'
b2 = s1.encode('gbk')
s3 = b2.decode('gbk')
print(b2)
print(s3)
#输出结果：
b'alex'
alex

s1 = 'alex'
b1 = s1.encode('utf-8')
s2 = b1.decode('gbk')
print(s2)
#输出结果：
alex

utf-8、gbk之间的转换

s4 = '中国'
b4 = s4.encode('utf-8') # utf-8 bytes
print(b4)
b6 = b4.decode('utf-8').encode('gbk')
print(b6)
#输出结果：
b'\xe4\xb8\xad\xe5\x9b\xbd'   #bytes类型的utf-8一个中文3个字节
b'\xd6\xd0\xb9\xfa'         #bytes类型的gbk一个中文2个字节

二、文件