【c++】utf8、gbk编码问题

判断是否是utf8和gbk格式的编码

bool FontManager::IsTextUTF8(const std::string& str)
{
    
    
	char nBytes=0;//UFT8可用1-6个字节编码,ASCII用一个字节
	unsigned char chr;
	bool bAllAscii = true; //如果全部都是ASCII, 说明不是UTF-8
 
	for(int i=0; i < str.length(); i++)
	{
    
    
		chr = str[i];
		
		// 判断是否ASCII编码,如果不是,说明有可能是UTF-8,ASCII用7位编码,
		// 但用一个字节存,最高位标记为0,o0xxxxxxx
		if( (chr&0x80) != 0 )
			bAllAscii= false;
 
		if(nBytes==0) //如果不是ASCII码,应该是多字节符,计算字节数
		{
    
    
			if(chr>=0x80)
			{
    
    
				if(chr>=0xFC&&chr<=0xFD)   nBytes=6;
				else if(chr>=0xF8)         nBytes=5;
				else if(chr>=0xF0)         nBytes=4;
				else if(chr>=0xE0)         nBytes=3;
				else if(chr>=0xC0)         nBytes=2;
				else{
    
    
					return false;
				}
				nBytes--;
			}
		}
		else //多字节符的非首字节,应为 10xxxxxx
		{
    
    
			if( (chr&0xC0) != 0x80 ){
    
    
				return false;
			}
			nBytes--;
		}
	}
 
	if( nBytes > 0 ) //违返规则
		return false;
	
	if( bAllAscii ) //如果全部都是ASCII, 说明不是UTF-8
		return false;
	
	return true;
}

bool is_str_gbk(const char* str)
{
    
    
  unsigned int nBytes = 0;//GBK可用1-2个字节编码,中文两个 ,英文一个
  unsigned char chr = *str;
  bool bAllAscii = true; //如果全部都是ASCII,
  for (unsigned int i = 0; str[i] != '\0'; ++i){
    
    
    chr = *(str + i);
    if ((chr & 0x80) != 0 && nBytes == 0){
    
    // 判断是否ASCII编码,如果不是,说明有可能是GBK
      bAllAscii = false;
    }
    if (nBytes == 0) {
    
    
      if (chr >= 0x80) {
    
    
        if (chr >= 0x81 && chr <= 0xFE){
    
    
          nBytes = +2;
        }
        else{
    
    
          return false;
        }
        nBytes--;
      }
    }
    else{
    
    
      if (chr < 0x40 || chr>0xFE){
    
    
        return false;
      }
      nBytes--;
    }//else end
  }
  if (nBytes != 0) {
    
       //违返规则
    return false;
  }
  if (bAllAscii){
    
     //如果全部都是ASCII, 也是GBK
    return true;
  }
  return true;
}

编码转换：

法一： 参考链接

const char DEFAULT_STRING[] = "error";
const std::wstring DEFAULT_WSTRING = L"error";
const std::u16string DEFAULT_USTRING = u"error";

inline std::wstring ToWstring(const std::string& str)
{
    
    
    if (str == DEFAULT_STRING) {
    
    
        return DEFAULT_WSTRING;
    }
#ifdef WINDOWS_PLATFORM
    std::wstring_convert<std::codecvt_utf8<wchar_t>, wchar_t> convert(DEFAULT_STRING, DEFAULT_WSTRING);
#else
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>, wchar_t> convert(DEFAULT_STRING, DEFAULT_WSTRING);
#endif
    std::wstring result = convert.from_bytes(str);
    return result == DEFAULT_WSTRING ? L"" : result;
}

inline std::string ToString(const std::wstring& str)
{
    
    
    if (str == DEFAULT_WSTRING) {
    
    
        return DEFAULT_STRING;
    }
#ifdef WINDOWS_PLATFORM
    std::wstring_convert<std::codecvt_utf8<wchar_t>, wchar_t> convert(DEFAULT_STRING);
#else
    std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>, wchar_t> convert(DEFAULT_STRING);
#endif
    std::string result = convert.to_bytes(str);
    return result == DEFAULT_STRING ? "" : result;
}

法二：参考链接