C++处理UTF8编码的字符串

Posted 2022-08-03 encoderlee

在windows下打开一个记事本，保存文件，下面有四种编码选择：

①ANSI，也就是多字节字符集，在中文系统下约等于GB2312。

②Unicode，就是UTF16 LE，小端序存储的UTF16。

③Unicode big endian ，就是UTF16 BE，大端序存储的UTF16。

④UTF8，网页上很多都是用UTF8，UTF8用1-4个字节来编码所有的字符，英文只需要1个 字节，中文需要3-4个字节。比起UTF16来说，UTF8这样可以尽可能的节省网络带宽，因为在网络上传输的字符，大部分以英文为主。UTF16至少是2个字节，部分字符4个字节。

如果我们写一个VC程序，从Web上获取到了网页内容，这些数据的编码大多是UTF8的，获取到我们VC程序中的char字符数组中时就会发现，英文可以正常显示，中文全部乱码了。因为VC把char数组中的字符串当做多字节字符集来处理。为了能正常显示UTF8编码的字符串，我们需要进行一些转换。将其转换为多字节字符集的字符串（ANSI），或是转换为宽字节字符串（UTF16）。

我们可以使用Windows API中的MultiByteToWideChar和WideCharToMultiByte来进行转换。示例代码如下：

std::wstring UTF8_To_UTF16(const std::string &source)

	unsigned long len = ::MultiByteToWideChar(CP_UTF8, NULL, source.c_str(), -1, NULL, NULL);
	if (len == 0)
		return std::wstring();
	wchar_t *buffer = new wchar_t[len];
	::MultiByteToWideChar(CP_UTF8, NULL, source.c_str(), -1, buffer, len);
	
	std::wstring dest(buffer);
	delete [] buffer;
	return dest;


std::string UTF16_To_UTF8(const std::wstring &source)

	unsigned long len = ::WideCharToMultiByte(CP_UTF8, NULL, source.c_str(), -1, NULL, NULL, NULL, NULL);
	if (len == 0)
		return std::string();
	char *buffer = new char[len];
	::WideCharToMultiByte(CP_UTF8, NULL, source.c_str(), -1, buffer, len, NULL, NULL);
	
	std::string dest(buffer);
	delete [] buffer;
	return dest;



std::wstring GBK_To_UTF16(const std::string &source)

	enum GB2312 = 936;
	
	unsigned long len = ::MultiByteToWideChar(GB2312, NULL, source.c_str(), -1, NULL, NULL);
	if (len == 0)
		return std::wstring();
	wchar_t *buffer = new wchar_t[len];
	::MultiByteToWideChar(GB2312, NULL, source.c_str(), -1, buffer, len);
	
	std::wstring dest(buffer);
	delete [] buffer;
	return dest;


std::string UTF16_To_GBK(const std::wstring &source)

	enum GB2312 = 936;
	
	unsigned long len = ::WideCharToMultiByte(GB2312, NULL, source.c_str(), -1, NULL, NULL, NULL, NULL);
	if (len == 0)
		return std::string();
	char *buffer = new char[len];
	::WideCharToMultiByte(GB2312, NULL, source.c_str(), -1, buffer, len, NULL, NULL);
	
	std::string dest(buffer);
	delete [] buffer;
	return dest;


std::string GBK_To_UTF8(const std::string &source)

	enum GB2312 = 936;
	
	unsigned long len = ::MultiByteToWideChar(GB2312, NULL, source.c_str(), -1, NULL, NULL);
	if (len == 0)
		return std::string();
	wchar_t *wide_char_buffer = new wchar_t[len];
	::MultiByteToWideChar(GB2312, NULL, source.c_str(), -1, wide_char_buffer, len);
	
	len = ::WideCharToMultiByte(CP_UTF8, NULL, wide_char_buffer, -1, NULL, NULL, NULL, NULL);
	if (len == 0)
	
		delete [] wide_char_buffer;
		return std::string();
	
	char *multi_byte_buffer = new char[len];
	::WideCharToMultiByte(CP_UTF8, NULL, wide_char_buffer, -1, multi_byte_buffer, len, NULL, NULL);
	
	std::string dest(multi_byte_buffer);
	delete [] wide_char_buffer;
	delete [] multi_byte_buffer;
	return dest;


std::string UTF8_To_GBK(const std::string &source)

	enum GB2312 = 936;

	unsigned long len = ::MultiByteToWideChar(CP_UTF8, NULL, source.c_str(), -1, NULL, NULL);
	if (len == 0)
		return std::string();
	wchar_t *wide_char_buffer = new wchar_t[len];
	::MultiByteToWideChar(CP_UTF8, NULL, source.c_str(), -1, wide_char_buffer, len);
	
	len = ::WideCharToMultiByte(GB2312, NULL, wide_char_buffer, -1, NULL, NULL, NULL, NULL);
	if (len == 0)
	
		delete [] wide_char_buffer;
		return std::string();
	
	char *multi_byte_buffer = new char[len];
	::WideCharToMultiByte(GB2312, NULL, wide_char_buffer, -1, multi_byte_buffer, len, NULL, NULL);
	
	std::string dest(multi_byte_buffer);
	delete [] wide_char_buffer;
	delete [] multi_byte_buffer;
	return dest;

涵盖了三种常见字符集字符串的相互转换，如果转换失败会返回一个空字符串，失败的情况很罕见，我目前还没遇到过。

实际上C++标准库也提供了一些转换方法，不过标准库只提供了UTF8与UTF16之间的转换，使用标准库可以跨平台使用，但是需要C++11的支持。示例代码如下：

#include <locale>
#include <codecvt>

std::wstring UTF8_To_UTF16(const std::string &source)

	try
	
		static std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> cvt;
		return cvt.from_bytes(source);
	
	catch (std::range_error &)
	
		return std::wstring();
	


std::string UTF16_To_UTF8(const std::wstring &source)

	try
	
		static std::wstring_convert<std::codecvt_utf8_utf16<wchar_t>> cvt;
		return cvt.to_bytes(source);
	
	catch (std::range_error &)
	
		return std::string();
	

另外，如果需要在GCC上实现的话，可以用标准库中的mbstowcs代替MultiByteToWideChar，用wcstombs代替WideCharToMultiByte，当然用iconv更方便。

在VC上也可以使用mbstowcs和wcstombs，因为其内部就是用MultiByteToWideChar和WideCharToMultiByte实现的。