multibyte characters

What is a multi-byte character, in fact, as the name suggests, for ASCII-encoded characters, such as English letters, one character occupies one byte, and Chinese characters need multiple bytes to represent.

1.1 What is ASCII code

ASCII code is actually an encoding of letters corresponding to binary. The following table is part of the ASCII table.

1.2 What is ASCII Extended Encoding

We didn't talk about the specific encoding in detail above. One byte is 8 bits, but at the beginning, the standard ASCII table only used the lower 7 bits, and the high bit was 0. Later, some special characters were added, and the high bit was also used. use

That is, the extended ASCII code table. But even that's not enough, that's the 8th character of 2.

1.3 What is GB2312

See GB is of course the national standard.

Based on the standard ASCII code table, two bytes, that is, 16 bits, are used to represent a Chinese character. Note: the high bits of these two bytes are both 1 , in order not to destroy the standard ASCII code.

Note, in fact, foreigners are also designed in this way. For example, Japanese characters are also based on this, so there is a problem, that is, there may be garbled characters. The garbled characters are actually many-to-1.

1.4 UNICODE encoding

The encoding uses two bytes, and UNICODE designs the common characters of most countries in the world into a table.

ASCII encoding:

GB2312 Simplified Chinese Code Table:

2. Wide characters

2.1 Characters represented by multiple bytes are called wide characters. It seems that there is no difference between multibyte and multibyte, but in fact, there is no difference in essence.

Char is called a multi-byte character, and one char occupies one byte. The reason why it is called a multi-byte character is that it may be a byte or multiple bytes when it represents a word.

Wchar_t is called wide character, and one wchar_t occupies 2 bytes. The reason why it is called wide character is because all words must be represented by two bytes (that is, a wchar_t), whether it is English or Chinese

wchar_t是C/C++的字符类型，是一种扩展的存储方式。Wchar_t类型主要用在国际化程序的实现中，但它不等同于uni编码。Uni编码的字符一般以wchar_t类型存储。

"中"字编码：

在 GB2312: D6 D0

在 Unicode ：4E 2D

Char x = '中'

Wchar_t= '中'

Wchar_t=L'中'

我们来谈谈上面这三个区别是什么：第一个x只能存储一个字节，里面是0XD0,而下面的Wchar_t在内存中存储的是D6D0也就是说

默认情况下赋值是基于GB2312的，如果我们想用Unicode，那么就要在赋值的时候，前面加一个L。加上L后，内存中存储的就是

4E2D。

2.2 wchar_t的使用

Char text[]="中国"； //d6 d0 b9 fa 00 多字节存储

Wchar_t text[]=L"中国"； //2d 4e fd 56 00 00 宽字符存储

区别是什么，我们知道Unicode一般是2个字节，所以以前的字符末尾的/0也就是（00）变成了00 00.

3.各种应用

3.1、在控制台打印

char x[] = "中国";

wchar_t x1[] = L"中国";

printf("%s\n",x); //使用控制台默认的编码

wprintf(L"%s\n",x1); //默认使用英文

告诉编译器，使用控制台默认的编码格式，原因是：控制台环境编码是固定的，我们输出，需要转换为控制台编码。

程序输出时将Unicode编码的字串转成系统的默认编码(Windows下是ANSI),而Windows系统默认编码一般都与控制台环境编码一致,OK~正常输出了.

(1) 包含头文件 #include <locale.h>

(2) setlocale(LC_ALL,""); //使用控制台默认的编码

3.2、字符串长度(头文件：#include<string.h>)

char x[] = "中国";

wchar_t x1[] = L"中国";

strlen(x); //取得多字节字符串中字符长度，不包含 00

wcslen(x1); //取得多字节字符串中字符长度，不包含 00 00

3.3、字符串复制

char x[] = "china";

char x1[] = "123";

strcpy(x,x1);

wchar_t y[] = L"中国";

wchar_t y1[] = L"好";

wcscpy(y,y1);

C语言中的宽字符和多字符

char wchar_t //多字节字符类型宽字符类型

printf wprintf //打印到控制台函数

strlen wcslen //获取长度

strcpy wcscpy //字符串复制

strcat wcscat //字符串拼接

strcmp wcscmp //字符串比较

strstr wcsstr //字符串查找

4.WIN32 API

API我就不解释了，ABI倒是可以说说。

Win32API的函数主要集中在c:\WINDOWS\system32下面的dll中

Kernel32.dll:最核心的功能模块，比如管理内存、进程和线程相关的函数等.

User32.dll:是Windows用户界面相关应用程序接口,如创建窗口和发送消息等.

GDI32.dll:全称是Graphical Device Interface(图形设备接口),包含用于画图和显示文本的函数

比如要显示一个程序窗口，就调用了其中的函数来画这个窗口

特别说明的是：这些看似牛逼的东西，其实在windows下仅仅是个壳，也是说上面dll实现的这些功能仅仅是在dll内部再次调用函数，真正的实现不在dll中。所以我们也可以通过手段绕过这些dll提供的函数接口，调用内核。

5、Win32 API中的宽字符和多字节字符

Windows是使用C语言开发的，Win32 API同时支持宽字符与多字节字符.

(1) 字符类型 (2) 字符串指针

char CHAR PSTR(LPSTR) 指向多字节字符串

wchar_t WCHAR PWSTR(LPWSTR) 指向宽字符串

宏 TCHAR 宏 PTSTR(LPTSTR) 这个是个套路，那就是通过该宏可以更具当前来自动设定是多字节还是宽字节

字符数组赋值

CHAR cha[] = "中国";

WCHAR chw[] = L"中国";

TCHAR cht[] = TEXT("中国"); TEXT 宏的套路一样，就是通过宏的二次封装来实现符合当前的转换

为字符串指针赋值：

PSTR pszChar = "china"; //多字节字符

PWSTR pszWChar = L"china"; //宽字符

PTSTR pszTChar = TEXT("china"); //如果项目是ASCII的相当于"china" UNICODE 相当于L"china"

4、各种版本的MessageBox

MessageBoxA(0,"内容多字节","标题",MB_OK);

MessageBoxW(0,L"内容宽字节",L"标题",MB_OK);

MessageBox(0,TEXT("根据项目字符集决定"),TEXT("标题"),MB_OK);

Windows提供的API 凡是需要传递字符串参数的函数，都会提供两个版本和一个宏.

6,错误调试

在win32中，传统的控制台调试错误，是不好使的，需要引入新的东西。

.h 头文件

void __cdecl OutputDebugStringF(const char *format, ...);

#ifdef _DEBUG

#define DbgPrintf OutputDebugStringF

#else

#define DbgPrintf

#endif

.cpp 源文件

void __cdecl OutputDebugStringF(const char *format, ...)

{

va_list vlArgs;

char *strBuffer = (char*)GlobalAlloc(GPTR, 4096);

va_start(vlArgs, format);

_vsnprintf(strBuffer, 4096 - 1, format, vlArgs);

va_end(vlArgs);

strcat(strBuffer, "\n");

OutputDebugStringA(strBuffer);

GlobalFree(strBuffer);

return;

}

上面的代码加入你的项目就可以调试打印，打印是在下面输出编译信息的地方。

当然还有方法二：

TCHAR szContent[] = TEXT("内容");

TCHAR szTitle[] = TEXT("标题");

MessageBox((HWND)0,szContent,szTitle,MB_OK);

DWORD errorCode = GetLastError();

这个函数的使用就是在执行完捕获错误。

当然：这里懒得打那么多字了：转下知乎

作者：于洋
链接：https://www.zhihu.com/question/23374078/answer/69732605
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

=============很久以前保存的，别人写的但是很明了=============

很久很久以前，有一群人，他们决定用8个可以开合的晶体管来组合成不同的状态，以表示世界上的万物。他们看到8个开关状态是好的，于是他们把这称为"字节"。再后来，他们又做了一些可以处理这些字节的机器，机器开动了，可以用字节来组合出很多状态，状态开始变来变去。他们看到这样是好的，于是它们就这机器称为"计算机"。

开始计算机只在美国用。八位的字节一共可以组合出256(2的8次方)种不同的状态。他们把其中的编号从0开始的32种状态分别规定了特殊的用途，一但终端、打印机遇上约定好的这些字节被传过来时，就要做一些约定的动作。遇上0×10, 终端就换行，遇上0×07, 终端就向人们嘟嘟叫，例好遇上0x1b, 打印机就打印反白的字，或者终端就用彩色显示字母。他们看到这样很好，于是就把这些0×20以下的字节状态称为"控制码"。他们又把所有的空格、标点符号、数字、大小写字母分别用连续的字节状态表示，一直编到了第127号，这样计算机就可以用不同字节来存储英语的文字了。大家看到这样，都感觉很好，于是大家都把这个方案叫做 ANSI 的"Ascii"编码（American Standard Code for Information Interchange，美国信息互换标准代码）。当时世界上所有的计算机都用同样的ASCII方案来保存英文文字。

后来，就像建造巴比伦塔一样，世界各地的都开始使用计算机，但是很多国家用的不是英文，他们的字母里有许多是ASCII里没有的，为了可以在计算机保存他们的文字，他们决定采用 127号之后的空位来表示这些新的字母、符号，还加入了很多画表格时需要用下到的横线、竖线、交叉等形状，一直把序号编到了最后一个状态255。从128 到255这一页的字符集被称"扩展字符集"。从此之后，贪婪的人类再没有新的状态可以用了，美帝国主义可能没有想到还有第三世界国家的人们也希望可以用到计算机吧！

等中国人们得到计算机时，已经没有可以利用的字节状态来表示汉字，况且有6000多个常用汉字需要保存呢。但是这难不倒智慧的中国人民，我们不客气地把那些127号之后的奇异符号们直接取消掉, 规定：一个小于127的字符的意义与原来相同，但两个大于127的字符连在一起时，就表示一个汉字，前面的一个字节（他称之为高字节）从0xA1用到 0xF7，后面一个字节（低字节）从0xA1到0xFE，这样我们就可以组合出大约7000多个简体汉字了。在这些编码里，我们还把数学符号、罗马希腊的字母、日文的假名们都编进去了，连在 ASCII 里本来就有的数字、标点、字母都统统重新编了两个字节长的编码，这就是常说的"全角"字符，而原来在127号以下的那些就叫"半角"字符了。中国人民看到这样很不错，于是就把这种汉字方案叫做 "GB2312"。GB2312 是对 ASCII 的中文扩展。

但是中国的汉字太多了，我们很快就就发现有许多人的人名没有办法在这里打出来，特别是某些很会麻烦别人的国家领导人。于是我们不得不继续把 GB2312 没有用到的码位找出来老实不客气地用上。后来还是不够用，于是干脆不再要求低字节一定是127号之后的内码，只要第一个字节是大于127就固定表示这是一个汉字的开始，不管后面跟的是不是扩展字符集里的内容。结果扩展之后的编码方案被称为 GBK 标准，GBK包括了GB2312 的所有内容，同时又增加了近20000个新的汉字（包括繁体字）和符号。后来少数民族也要用电脑了，于是我们再扩展，又加了几千个新的少数民族的字，GBK扩成了 GB18030。从此之后，中华民族的文化就可以在计算机时代中传承了。中国的程序员们看到这一系列汉字编码的标准是好的，于是通称他们叫做 "DBCS"（Double Byte Charecter Set 双字节字符集）。在DBCS系列标准里，最大的特点是两字节长的汉字字符和一字节长的英文字符并存于同一套编码方案里，因此他们写的程序为了支持中文处理，必须要注意字串里的每一个字节的值，如果这个值是大于127的，那么就认为一个双字节字符集里的字符出现了。那时候凡是受过加持，会编程的计算机僧侣们都要每天念下面这个咒语数百遍： "一个汉字算两个英文字符！一个汉字算两个英文字符……"

因为当时各个国家都像中国这样搞出一套自己的编码标准，结果互相之间谁也不懂谁的编码，谁也不支持别人的编码，连大陆和台湾这样只相隔了150海里，使用着同一种语言的兄弟地区，也分别采用了不同的 DBCS 编码方案——当时的中国人想让电脑显示汉字，就必须装上一个"汉字系统"，专门用来处理汉字的显示、输入的问题，但是那个台湾的愚昧封建人士写的算命程序就必须加装另一套支持 BIG5 编码的什么"倚天汉字系统"才可以用，装错了字符系统，显示就会乱了套！这怎么办？而且世界民族之林中还有那些一时用不上电脑的穷苦人民，他们的文字又怎么办？真是计算机的巴比伦塔命题啊！

正在这时，大天使加百列及时出现了——一个叫 ISO （国际标谁化组织）的国际组织决定着手解决这个问题。他们采用的方法很简单：废了所有的地区性编码方案，重新搞一个包括了地球上所有文化、所有字母和符号的编码！他们打算叫它"Universal Multiple-Octet Coded Character Set"，简称 UCS, 俗称 "unicode"。

unicode开始制订时，计算机的存储器容量极大地发展了，空间再也不成为问题了。于是 ISO 就直接规定必须用两个字节，也就是16位来统一表示所有的字符，对于ASCII里的那些"半角"字符，unicode包持其原编码不变，只是将其长度由原来的8位扩展为16位，而其他文化和语言的字符则全部重新统一编码。由于"半角"英文符号只需要用到低8位，所以其高8位永远是0，因此这种大气的方案在保存英文文本时会多浪费一倍的空间。

这时候，从旧社会里走过来的程序员开始发现一个奇怪的现象：他们的strlen函数靠不住了，一个汉字不再是相当于两个字符了，而是一个！是的，从unicode开始，无论是半角的英文字母，还是全角的汉字，它们都是统一的"一个字符"！同时，也都是统一的"两个字节"，请注意"字符"和"字节"两个术语的不同，"字节"是一个8位的物理存贮单元，而"字符"则是一个文化相关的符号。在unicode中，一个字符就是两个字节。一个汉字算两个英文字符的时代已经快过去了。

unicode同样也不完美，这里就有两个的问题，一个是，如何才能区别unicode和ascii？计算机怎么知道三个字节表示一个符号，而不是分别表示三个符号呢？第二个问题是，我们已经知道，英文字母只用一个字节表示就够了，如果unicode统一规定，每个符号用三个或四个字节表示，那么每个英文字母前都必然有二到三个字节是0，这对于存储空间来说是极大的浪费，文本文件的大小会因此大出二三倍，这是难以接受的。

unicode在很长一段时间内无法推广，直到互联网的出现，为解决unicode如何在网络上传输的问题，于是面向传输的众多 UTF（UCS Transfer Format）标准出现了，顾名思义，UTF-8就是每次8个位传输数据，而UTF-16就是每次16个位。UTF-8就是在互联网上使用最广的一种unicode的实现方式，这是为传输而设计的编码，并使编码无国界，这样就可以显示全世界上所有文化的字符了。

UTF-8最大的一个特点，就是它是一种变长的编码方式。它可以使用1~4个字节表示一个符号，根据不同的符号而变化字节长度，当字符在ASCII 码的范围时，就用一个字节表示，保留了ASCII字符一个字节的编码做为它的一部分，注意的是unicode一个中文字符占2个字节，而UTF-8一个中文字符占3个字节）。从unicode到uft-8并不是直接的对应，而是要过一些算法和规则来转换。

Unicode符号范围 | UTF-8编码方式

、

win32 programming learning (1)

GB2312 Simplified Chinese Code Table:

Guess you like