辨析 UTF-8和Unicode的区别

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接: https://blog.csdn.net/AMimiDou_212/article/details/86762907

辨析 UTF-8和Unicode的区别


2019-02-04 10:56:18 AM

作为一名创客,穿梭在不同而编程语言之间,例如python、JavaScript、PHP(最好的编程语言)、Golang等,免不得遇见中文显示乱码的场景。为此,我也晕过车,翻过船。特此新年之际,一起来回顾下,踩过的“坑”,挖过的“雷”。

Unicode简介:
Unicode(统一码、万国码、单一码)是计算机科学领域里的一项业界标准,包括字符集、编码方案等。Unicode 是为了解决传统的字符编码方案的局限而产生的,它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨平台进行文本转换、处理的要求

Unicode的是字符集。ASCII也是一种字符集。

字符集为每个字符分配一个唯一的ID,我们使用到的所有字符在Unicode字符集中都有唯一的一个ID对应,例如a在Unicode与ASCII中的编码都是97。“你”在Unicode中的编码为20320,但是在不同国家的字符集中,“你”的ID可能是不同的。而无论在任何情况下,Unicode中的字符的ID都是不会变化的。

新年快乐,万事如意:\u65b0\u5e74\u5feb\u4e50\uff0c\u4e07\u4e8b\u5982\u610f

Unicode是编码规则,将Unicode中字符的ID以某种方式进行编码。UTF-8的是一种可变长编码规则,从1到4个字节不等。编码规则如下:

  • 0xxxxxx 表示文字符号0~127,兼容ASCII字符集。
  • 从128到0x10ffff表示其他字符。

根据这个规则,拉丁文语系的字符编码一般情况下,每个字符也依然占用一个字节,而中文每个字符占用3个字节。

广义的Unicode指的是一个标准,定义字符集及编码规则,即Unicode字符集和UTF-8、UTF-16编码等。

猜你喜欢

转载自blog.csdn.net/AMimiDou_212/article/details/86762907