字符编码转换：
个人学习用，如有侵权，请联系我删除
网页爬取的一般情况下为UTF-8的编码形式，而程序一般用的为Unicode编码，从网页上爬取的文字放入到TXT中，一般为乱码形式。
因此如果想要正确的输出汉字，必须进行编码转换。
C++中用的是MultiByteToWideChar和WideCharToMultiByte
MultiByteToWideChar和WideCharToMultiByte用法详解
涉及到的头文件：
函数所在头文件：windows.h
#include <windows.h>
wchar_t类型所需头文件：wchar.h
#include <wchar.h>
1.MultiByteToWideChar()
函数功能：该函数映射一个字符串到一个宽字符（unicode）的字符串。由该函数映射的字符串没必要是多字节字符组。
函数原型：
int MultiByteToWideChar(
UINT CodePage,
DWORD dwFlags,
LPCSTR lpMultiByteStr,
int cchMultiByte,
LPWSTR lpWideCharStr,
int cchWideChar
);
参数：
CodePage：指定执行转换的多字节字符所使用的字符集
这个参数可以为系统已安装或有效的任何字符集所给定的值。你也可以指定其为下面的任意一值：
| value | Description |
|---|---|
| CP_ACP | ANSI code page |
| CP_MACCP | Not supported |
| CP_OEMCP | OEM code page |
| CP_SYMBOL | Not supported |
| CP_THREAD_ACP | Not supported |
| CP_UTF8 | UTF-8 code page |
dwFlags：一组位标记，用以指出是否未转换成预作或宽字符（若组合形式存在），是否使用象形文字替代控制字符，以及如何处理无效字符。你可以指定下面是标记常量的组合，含义如下：
MB_PRECOMPOSED：通常使用预作字符——就是说，由一个基本字符和一个非空字符组成的字符只有一个单一的字符值。这是缺省的转换选择。不能与MB_COMPOSITE值一起使用。
MB_COMPOSITE：通常使用组合字符——就是说，由一个基本字符和一个非空字符组成的字符分别有不同的字符值。不能与MB_PRECOMPOSED值一起使用。
MB_ERR_INVALID_CHARS：如果函数遇到无效的输入字符，它将运行失败，且GetLastErro返回ERROR_NO_UNICODE_TRANSLATION值。
MB_USEGLYPHCHARS：使用象形文字替代控制字符。
组合字符由一个基础字符和一个非空字符构成，每一个都有不同的字符值。每个预作字符都有单一的字符值给基础/非空字符的组成。在字符è中，e就是基础字符，而重音符标记就是非空字符。
标记MB_PRECOMPOSED和MB_COMPOSITE是互斥的，而标记MB_USEGLYPHCHARS和MB_ERR_INVALID_CHARS则不管其它标记如何都可以设置。
一般不使用这些标志，故取值为0时。
lpMultiByteStr：指向待转换的字符串的缓冲区。
cchMultiByte：指定由参数lpMultiByteStr指向的字符串中字节的个数。可以设置为-1，会自动判断lpMultiByteStr指定的字符串的长度
（如果字符串不是以空字符中止，设置为-1可能失败，可能成功），此参数设置为0函数将失败。
lpWideCharStr：指向接收被转换字符串的缓冲区。
cchWideChar：指定由参数lpWideCharStr指向的缓冲区的宽字节数。若此值为0，函数不会执行转换，而是返回目标缓存lpWideChatStr所需的宽字符数。
返回值：
如果函数运行成功，并且cchWideChar不为0，返回值是由lpWideCharStr指向的缓冲区中写入的宽字符数；
如果函数运行成功，并且cchMultiByte为0，返回值是待转换字符串的缓冲区所需求的宽字符数大小。（此种情况用来获取转换所需的wchar_t的个数）
如果函数运行失败，返回值为零。
若想获得更多错误信息，请调用GetLastError()函数。它可以返回下面所列错误代码：
ERROR_INSUFFICIENT_BUFFER；
ERROR_INVALID_FLAGS；
ERROR_INVALID_PARAMETER；
ERROR_NO_UNICODE_TRANSLATION。
- WideCharToMultiByte()
函数功能：该函数映射一个unicode字符串到一个多字节字符串。
函数原型：
int WideCharToMultiByte(
UINT CodePage,
DWORD dwFlags,
LPCWSTR lpWideCharStr,
int cchWideChar,
LPSTR lpMultiByteStr,
int cchMultiByte,
LPCSTR lpDefaultChar,
LPBOOL pfUsedDefaultChar
);
参数：
与MultiByteToWideChar()函数中的参数类似，但是多了两个参数：
lpDefaultChar和pfUsedDefaultChar：只有当WideCharToMultiByte函数遇到一个宽字节字符，而该字符在uCodePage参数标识的代码页中并没有它的表示法时，WideCharToMultiByte函数才使用这两个参数。（通常都取值为NULL）
1> 如果宽字节字符不能被转换，该函数便使用lpDefaultChar参数指向的字符。如果该参数是NULL（这是大多数情况下的参数值），那么该函数使用系统的默认字符。该默认字符通常是个问号。这对于文件名来说是危险的，因为问号是个通配符。
2> pfUsedDefaultChar参数指向一个布尔变量，如果Unicode字符串中至少有一个字符不能转换成等价多字节字符，那么函数就将该变量置为TRUE。如果所有字符均被成功地转换，那么该函数就将该变量置为FALSE。当函数返回以便检查宽字节字符串是否被成功地转换后，可以测试该变量。
返回值：
如果函数运行成功，并且cchMultiByte不为零，返回值是由 lpMultiByteStr指向的缓冲区中写入的字节数；
如果函数运行成功，并且cchMultiByte为零，返回值是接收到待转换字符串的缓冲区所必需的字节数。（此种情况用来获取转换所需Char的个数）
如果函数运行失败，返回值为零。
若想获得更多错误信息，请调用GetLastError函数。它可以返回下面所列错误代码：
ERROR_INSUFFICIENT_BJFFER；
ERROR_INVALID_FLAGS；
ERROR_INVALID_PARAMETER；
ERROR_NO_UNICODE_TRANSLATION
使用方法
( 1 ) 将多字节字符串转为宽字符串：
-
调用MultiByteToWideChar()函数，设置cchWideChar参数为0（用以获取转换所需的接收缓冲区大小）；
-
获取输入缓存的大小，作为cchMultiByte的值；（这样做是为了节省空间，也可以给cchMultiByte取值-1（字符串需要以空字符结尾，否则会出错））
-
分配足够的内存块，用于存放转换后的Unicode字符串；
该内存块的大小由前面对cchWideChar()函数的返回值来决定；（也可以用别的方法，但该方法更节省内存）
-
再次调用MultiByteToWideChar()函数，这次将缓存的地址作为lpWideCharStr,参数来传递，并传递第一次调用MultiByteToWideChar()函数时的返回值作为cchWideChar参数的值；
-
使用转换后的字符串；
-
释放接收缓冲区占用的内存块；
示例
转自
C++实现utf8和gbk编码字符串互相转换
#include <iostream>
#include <string>
#include <string.h>
#include <stdlib.h>
using namespace std;
#ifdef _WIN32
#include <windows.h>
string GbkToUtf8(const char *src_str)
{
int len = MultiByteToWideChar(CP_ACP, 0, src_str, -1, NULL, 0);
wchar_t* wstr = new wchar_t[len + 1];
memset(wstr, 0, len + 1);
MultiByteToWideChar(CP_ACP, 0, src_str, -1, wstr, len);
len = WideCharToMultiByte(CP_UTF8, 0, wstr, -1, NULL, 0, NULL, NULL);
char* str = new char[len + 1];
memset(str, 0, len + 1);
WideCharToMultiByte(CP_UTF8, 0, wstr, -1, str, len, NULL, NULL);
string strTemp = str;
if (wstr) delete[] wstr;
if (str) delete[] str;
return strTemp;
}
string Utf8ToGbk(const char *src_str)
{
int len = MultiByteToWideChar(CP_UTF8, 0, src_str, -1, NULL, 0);
wchar_t* wszGBK = new wchar_t[len + 1];
memset(wszGBK, 0, len * 2 + 2);
MultiByteToWideChar(CP_UTF8, 0, src_str, -1, wszGBK, len);
len = WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, NULL, 0, NULL, NULL);
char* szGBK = new char[len + 1];
memset(szGBK, 0, len + 1);
WideCharToMultiByte(CP_ACP, 0, wszGBK, -1, szGBK, len, NULL, NULL);
string strTemp(szGBK);
if (wszGBK) delete[] wszGBK;
if (szGBK) delete[] szGBK;
return strTemp;
}
#else
#include <iconv.h>
int GbkToUtf8(char *str_str, size_t src_len, char *dst_str, size_t dst_len)
{
iconv_t cd;
char **pin = &str_str;
char **pout = &dst_str;
cd = iconv_open("utf8", "gbk");
if (cd == 0)
return -1;
memset(dst_str, 0, dst_len);
if (iconv(cd, pin, &src_len, pout, &dst_len) == -1)
return -1;
iconv_close(cd);
*pout = '\0';
return 0;
}
int Utf8ToGbk(char *src_str, size_t src_len, char *dst_str, size_t dst_len)
{
iconv_t cd;
char **pin = &src_str;
char **pout = &dst_str;
cd = iconv_open("gbk", "utf8");
if (cd == 0)
return -1;
memset(dst_str, 0, dst_len);
if (iconv(cd, pin, &src_len, pout, &dst_len) == -1)
return -1;
iconv_close(cd);
*pout = '\0';
return 0;
}
#endif
int main(void)
{
char *src_str = "葡萄美酒夜光杯";
cout << "origin string: " << src_str << endl;
#ifdef _WIN32
// windows default is gbk
string dst_str = GbkToUtf8(src_str);
cout << "gbk to utf8: " << dst_str << endl;
string str_utf8 = Utf8ToGbk(dst_str.c_str());
cout << "utf8 to gbk: " << str_utf8 << endl;
#else
// unix default is utf8
char dst_gbk[1024] = {0};
Utf8ToGbk(src_str, strlen(src_str), dst_gbk, sizeof(dst_gbk));
cout << "utf8 to gbk: " << dst_gbk << endl;
char dst_utf8[1024] = {0};
GbkToUtf8(dst_gbk, strlen(dst_gbk), dst_utf8, sizeof(dst_utf8));
cout << "gbk to utf8: " << dst_utf8 << endl;
#endif
return 0;
}