c# 处理某些占4个字节的汉字问题

Posted 2023-05-05

今天才知道原来有占4个字节的汉字
假设 有一个字符串 是3个汉字 第2个汉字占了4个字节,这时返回的长度是8,而我需要循环对所有单个汉字进行处理,当处理到第2个字的时候 我必须 要substring(1,2) 才能取出这个字,
所以我的问题是 我怎么才能知道 到第2个字的时候 要取两位长度才可以呢
字符集 统统使用的是 Unicode

当我String.SubString(1,1) 的时候 只取出了这个字的一半,能不能有什么方法 在取出一半的时候能判断出来这是一半,如果是一半, 我再去String.SubString(1,2)取出全部

字符集GB18030是有4个字节的汉字，C#直接读的话是乱码，这种情况应该使用Windows API提供的函数来解决才行。
1．Windows API对GB18030-2000 的支持
下列 Windows API 提供对GB18030-2000 的支持。IsValidCodePage(), GetCPInfo()， MultiByteToWideChar() and WideCharToMultiByte().
具体说明如下：
1) IsValidCodePage(54936) returns TRUE.
2) GetCPInfo(54936, lpCPInfo) returns TRUE.
3) MultiByteToWideChar(54936, 0, lpMultiByteStr, cbMultiByte, lpWideCharStr, cchWideChar) 完成GB18030-2000 字符串 lpMultiByteStr 到 Unicode 字符串 lpWideCharStr 的转换。
4) WideCharToMultiByte(54936, 0, lpWideCharStr, cchWideChar, lpMultiByteStr, cbMultiByte, lpDefaultChar, lpUsedDefaultChar) 完成Unicode 字符串 lpWideCharStr 到 GB18030-2000 字符串 lpMultiByteStr 的转换。
2. GB18030 函数库
微软4字节字符集编码支持包 (MS4BSP- Microsoft 4-byte Character Set Encoding Support Package) 提供了六个函数，这六个函数支持多字节编码（多达4字节）的字符串。 这些API 是从Windows 95/98/Me 提供的WCHAR (Unicode) 函数集中精选出来的。函数名与相应的ANSI 和WCHAR(Unicode) 函数完全相同，只是后缀的’A’ 或’W’被’L’替代。这些函数的参数与相应的’A’版本函数的参数接口完全相同。该支持包可使基于936代码页的应用程序向GB18030 或其他4字节编码的转换更加快捷。
MS4BSP 在Windows XP 平台的实现是作为一个简单的动态连接库 – ms4bsp.dll。 每一函数都通过调用MultiByteToWideChar() 函数将任何多字节字符串输入参数转换为UTF-16编码格式，然后调用相应的 ‘W’ 版本的函数，返回该函数的输出参数。该动态连接库假设当前系统中存在相关的字体，输入法(IME) 和注册表的设置信息。
该函数集中的缺省4字节字符编码为54936 (GB18030-2000). 将来版本的MS4BL 可能支持其他4字节编码。
接口清单：
CODEBOOL ExtTextOutL(
HDC hdc, // handle to DC
int X, // x-coordinate of reference point
int Y, // y-coordinate of reference point
UINT fuOptions, // text-output options
CONST RECT* lprc, // optional dimensions
LPCSTR lpString, // string
UINT cbCount, // number of characters in string
CONST INT* lpDx // array of spacing values
);
BOOL GetTextExtentExPointL(
HDC hdc, // handle to DC
LPCSTR lpszStr, // character string
int cchString, // number of characters
int nMaxExtent, // maximum width of formatted string
LPINT lpnFit, // maximum number of characters
LPINT alpDx, // array of partial string widths
LPSIZE lpSize // string dimensions
);
BOOL GetTextExtentPoint32L(
HDC hdc, // handle to DC
LPCSTR lpString, // text string
int cbString, // characters in string
LPSIZE lpSize // string size
);
Int MessageBoxL(
HWND hWnd, // handle to owner window
LPCSTR lpText, // text in message box
LPCSTR lpCaption, // message box title
UINT uType // message box style
);
Int MessageBoxExL(
HWND hWnd, // handle to owner window
LPCSTR lpText, // text in message box
LPCSTR lpCaption, // message box title
UINT uType, // message box style
WORD wLanguageId // language identifier
);
BOOL TextOutL(
HDC hdc, // handle to DC
int nXStart, // x-coordinate of starting position
int nYStart, // y-coordinate of starting position
LPCSTR lpString, // character string
int cbString // number of characters
); 参考技术A 占多少个字节得看你用的是什么编码集。
如果是GBK和GB2312的话，确实是两个字节，在Windows平台上会是你预期的两个字节。
utf8, 它是变字节的2个3个4个可能都有的.追问

是用的 Unicode字符集

追答

http://bbs.csdn.net/topics/330107389
其中第一个字的范围是:d800-dbff,第二个字的范围是：dc00-dfff.

这个链接，你可以去看一下。是否能帮你处理。

追问

非常感谢 但是用什么方法能得到字的范围呢 我是用c#写的程序

追答

具体的我也不清楚，我对你这个问题比较感兴趣。有答案后，顺便告诉我一份。

本回答被提问者和网友采纳

系统存储之：一个汉字在数据库占几个字节

参考文献：http://csumissu.iteye.com/blog/1090053

UTF-8：Unicode Transformation Format-8bit，允许含BOM，但通常不含BOM。是用以解决国际上字符的一种多字节编码，它对英文使用8位（即一个字节），中文使用24位（三个字节）来编码。UTF-8包含全世界所有国家需要用到的字符，是国际编码，通用性强。UTF-8编码的文字可以在各国支持UTF8字符集的浏览器上显示。如，如果是UTF8编码，则在外国人的英文IE上也能显示中文，他们无需下载IE的中文语言支持包。

 

GBK是国家标准GB2312基础上扩容后兼容GB2312的标准。GBK的文字编码是用双字节来表示的，即不论中、英文字符均使用双字节来表示，为了区分中文，将其最高位都设定成1。GBK包含全部中文字符，是国家编码，通用性比UTF8差，不过UTF8占用的数据库比GBD大。

 

GBK、GB2312等与UTF8之间都必须通过Unicode编码才能相互转换：
GBK、GB2312－－Unicode－－UTF8

 

UTF8－－Unicode－－GBK、GB2312

 

 

对于一个网站、论坛来说，如果英文字符较多，则建议使用UTF－8节省空间。不过现在很多论坛的插件一般只支持GBK。

GB2312是GBK的子集，GBK是GB18030的子集
GBK是包括中日韩字符的大字符集合
如果是中文的网站 推荐GB2312 GBK有时还是有点问题
为了避免所有乱码问题，应该采用UTF-8，将来要支持国际化也非常方便
UTF-8可以看作是大字符集，它包含了大部分文字的编码。
使用UTF-8的一个好处是其他地区的用户（如香港台湾）无需安装简体中文支持就能正常观看你的文字而不会出现乱码。

 

gb2312是简体中文的码
gbk支持简体中文及繁体中文
big5支持繁体中文
utf-8支持几乎所有字符

 

 

MySQL 5.0以上的版本：

1.一个汉字占多少长度与编码有关：

UTF－8：一个汉字＝3个字节

GBK：一个汉字＝2个字节

 

2.varchar(n)表示n个字符，无论汉字和英文，Mysql都能存入n个字符，仅是实际字节长度有所区别

 

3.MySQL检查长度，可用SQL语言：

select LENGTH(fieldname) from tablename 来查看