理解并解决GBK转UTF-8奇数中文乱码(转)

Posted 沧海一滴

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了理解并解决GBK转UTF-8奇数中文乱码(转)相关的知识,希望对你有一定的参考价值。

最近在做一个反馈功能,把数据反馈到对方公司网站,我公司是GBK编码,对方公司是UTF-8编码。因此,我需要将GBK编码数据转换成UTF-8编码数据,这样对方网站才不会乱码。最简单的方法是将HttpClient的ContentCharset设置为utf-8;如果ContentCharset是gbk并且又不想设置为utf-8,那么就需要将数据转换成UTF-8编码再发到对方网站。

 

问题出现:GBK转UTF-8时,奇数个中文会乱码,偶数个中文不会乱码。
三个中文

Java代码  技术分享
  1. public static void encodeError() throws UnsupportedEncodingException {  
  2.     String gbk = "我来了";  
  3.     String utf8 = new String(gbk.getBytes("UTF-8"));  
  4.   
  5.     //模拟UTF-8编码的网站显示  
  6.     System.out.println(new String(utf8.getBytes(),"UTF-8"));  
  7. }  
  8. /* 
  9. 我来?? 
  10. */  

 前面三个中文,后面一个中文,都是奇数

Java代码  技术分享
  1. public static void encodeError2() throws UnsupportedEncodingException {  
  2.     String gbk = "今年是2011年";  
  3.     String utf8 = new String(gbk.getBytes("UTF-8"));  
  4.   
  5.     //模拟UTF-8编码的网站显示  
  6.     System.out.println(new String(utf8.getBytes(),"UTF-8"));  
  7. }  
  8. /* 
  9. 今年??011?? 
  10. */  

 

原因:为什么只有奇数个中文才乱码,偶数个却不乱码?下面来分析原因

Java代码  技术分享
  1. public static void analyze() throws UnsupportedEncodingException {  
  2.     String gbk = "我来了";  
  3.     String utf8 = new String(gbk.getBytes("UTF-8"));  
  4.     for (byte b : gbk.getBytes("UTF-8")) {  
  5.         System.out.print(b + " ");  
  6.     }  
  7.     System.out.println();  
  8.     for (byte b : utf8.getBytes()) {  
  9.         System.out.print(b + " ");  
  10.     }  
  11. }  
  12. /* 
  13. -26 -120 -111 -26 -99 -91 -28 -70 -122  
  14. -26 -120 -111 -26 -99 -91 -28 -70 63  
  15. */  

 注意最后一个字节不同,上面一行才是正确的UTF-8编码。那么为什么下面一行最后一个字节是63,而不是-122呢?这就是导致乱码的原因所在。
GBK编码是一个中文2个字节,而UTF-8编码是一个中文3个字节,当我们调用getBytes("UTF-8")方法时,会通过计算来增加字节,使得从GBK的2个字节变成UTF-8对应的3个字节。因此,上例3个中文输出了9个字节。

 

这里讲一下怎么通过计算增加字节,不深究的读者可以跳过此段。为了醒目,直接用代码讲解

Java代码  技术分享
  1. public static void gbk2Utf() throws UnsupportedEncodingException {  
  2.     String gbk = "我来了";  
  3.     char[] c = gbk.toCharArray();  
  4.     byte[] fullByte = new byte[3*c.length];  
  5.     for (int i=0; i<c.length; i++) {  
  6.         String binary = Integer.toBinaryString(c[i]);  
  7.         StringBuffer sb = new StringBuffer();  
  8.         int len = 16 - binary.length();  
  9.         //前面补零  
  10.         for(int j=0; j<len; j++){  
  11.                 sb.append("0");  
  12.             }  
  13.         sb.append(binary);  
  14.         //增加位,达到到24位3个字节  
  15.         sb.insert(0, "1110");  
  16.             sb.insert(8, "10");  
  17.             sb.insert(16, "10");  
  18.             fullByte[i*3] = Integer.valueOf(sb.substring(0, 8), 2).byteValue();//二进制字符串创建整型  
  19.             fullByte[i*3+1] = Integer.valueOf(sb.substring(8, 16), 2).byteValue();  
  20.             fullByte[i*3+2] = Integer.valueOf(sb.substring(16, 24), 2).byteValue();  
  21.     }  
  22.     //模拟UTF-8编码的网站显示  
  23.     System.out.println(new String(fullByte,"UTF-8"));  
  24. }  

 

现在我们来找出最后一个字节是63,而不是-122的原因。

Java代码  技术分享
  1. public static void analyze2() throws UnsupportedEncodingException {  
  2.     String gbk = "我来了";  
  3.     byte[] utfBytes = gbk.getBytes("UTF-8");//得到9个字节  
  4.     String utf8 = new String(utfBytes);//问题就出在这  
  5.     System.out.print(utf8);  
  6. }  
  7. /* 
  8. 鎴戞潵浜? 
  9. */  

 因为文件是GBK编码,new String(utfBytes)默认就是new String(utfBytes,"GBK")。它会2个字节2个字节地转换成字符,当字节是奇数时最后1个字节转字符就会计算错误,然后直接赋予最后这个字符为?,对应ASCII代码就是63。

 

解决问题
保证字节正确才是硬道理。当调用getBytes("UTF-8")转换成字节数组后,创建ISO-8859-1编码的字符串,ISO-8859-1编码是一个字节对应一个字符,因此不会使最后一个字节错误。

Java代码  技术分享
  1. public static void correctEncode() throws UnsupportedEncodingException {  
  2.     String gbk = "我来了";  
  3.     String iso = new String(gbk.getBytes("UTF-8"),"ISO-8859-1");  
  4.     for (byte b : iso.getBytes("ISO-8859-1")) {  
  5.         System.out.print(b + " ");  
  6.     }  
  7.     System.out.println();  
  8.   
  9.     //模拟UTF-8编码的网站显示  
  10.     System.out.println(new String(iso.getBytes("ISO-8859-1"),"UTF-8"));  
  11. }  
  12. /* 
  13. -26 -120 -111 -26 -99 -91 -28 -70 -122  
  14. 我来了 
  15. */  

 

http://www.iteye.com/topic/1097560

 

以上是关于理解并解决GBK转UTF-8奇数中文乱码(转)的主要内容,如果未能解决你的问题,请参考以下文章

UWP&WP8.1 中文网页字符乱码 字符乱码 UTF-8转GBK 解决方法

AES转码问题

Java 中文字符串编码之GBK转UTF-8

上传文件乱码,GBK转UTF-8

解决FileInputStream 读取文件中文乱码问题(转)

utf-8编码的页面如何转成gbk编码的页面(急)