java读取UTF-8的txt文件发现开头的一个字符问题

Posted xiaoyh0310

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了java读取UTF-8的txt文件发现开头的一个字符问题相关的知识,希望对你有一定的参考价值。

今天遇到一个奇葩问题,在读取一个TXT文件时,出现开头多了一个问号(?)。如下图:

莫名奇妙的多了一个。最后通过网上资料,知道在Java中,class文件采用utf8的编码方式,JVM运行时采用utf16。Java的字符串是永远都是unicode的,采用的是UTF-16的编码方式。

测试一下,java对UTF-8文件的读写的能力,结果发现了一个很郁闷的问题,如果通过java写的UTF-8文件,使用Java可以正确的读,但是如果用记事本将相同的内容使用UTF-8格式保存,则在使用程序读取是会从文件中多读出一个不可见字符。

测试代码如下:

Java代码  收藏代码
  1. import java.io.BufferedReader;  
  2. import java.io.File;  
  3. import java.io.FileInputStream;  
  4. import java.io.IOException;  
  5. import java.io.InputStreamReader;  
  6.   
  7.   
  8. public class UTF8Test {  
  9.     public static void main(String[] args) throws IOException {  
  10.         File f  = new File("./utf.txt");  
  11.         FileInputStream in = new FileInputStream(f);  
  12.         // 指定读取文件时以UTF-8的格式读取  
  13.         BufferedReader br = new BufferedReader(new InputStreamReader(in, "UTF-8"));  
  14.           
  15.         String line = br.readLine();  
  16.         while(line != null)  
  17.         {  
  18.             System.out.println(line);  
  19.             line = br.readLine();  
  20.         }  
  21.     }  
  22. }  



utf.txt通过记事本创建,另存时使用指定utf-8编码,其内容为:

引用

This is the first line.
This is second line.



正常的测试结果应该是直接输出utf.txt的文本内容。可是实际上却输出了下面的内容:

引用

?This is the first line.
This is second line.


第一行多出了一个问号。
通过上面的几篇文章应该可以想到是Java读取BOM(Byte Order Mark)的问题,在使用UTF-8时,可以在文件的开始使用3个字节的"EF BB BF"来标识文件使用了UTF-8的编码,当然也可以不用这个3个字节。
上面的问题应该就是因为对开头3个字节的读取导致的。开始不太相信这个是JDK的Bug,后来在多次试验后,问题依然存在,就又狗狗了一下,果然找到一个如下的Bug:
不过在我关掉的一些页面中记得有篇文件说这个bug只在jdk1.5及之前的版本才有,说是1.6已经解决了,从目前来看1.6只是解决了读取带有BOM文件失败的问题,还是不能区别处理有BOM和无BOM的UTF-8编码的文件,从Bug ID:4508058里的描述可以看出,这个问题将作为一个不会修改的问题关闭,对于BOM编码的识别将由应用程序自己来处理,原因可从另处一个bug处查看到,因为Unicode对于BOM的编码的规定可能发生变化。也就是说对于一个UTF-8的文件,应用程序需要知道这个文件有没有写BOM,然后自己决定处理BOM的方式。

解决办法:

1.保存时,选择

2.引用正确的读取类,比如我用的就是:org.apache.commons.io.FileUtils.readFileToString(new File(file), encoding);

ps:贴一下读取的工具类源码:

 1 /**
 2      * 读入文件到字串中
 3      *
 4      * @param file 需要读取的文件路径
 5      * @return 读取的文件内容,若读入失败,则返回空字串
 6      */
 7     public static String readFileToString(String file, String encoding)
 8     {
 9         try
10         {
11             if (StringHelper.isEmpty(encoding))
12             {
13                 encoding = "GBK";
14             }
15             String content = org.apache.commons.io.FileUtils.readFileToString(new File(file), encoding);
16             return content;
17         }
18         catch (IOException ex)
19         {
20             logger.error("读取文件出错", ex);
21         }
22         return "";
23     }

注意两点都要过一下,希望有用。

 

以上是关于java读取UTF-8的txt文件发现开头的一个字符问题的主要内容,如果未能解决你的问题,请参考以下文章

java 读取不同编码的txt文件 中文乱码二

Java 按行读取UTF-8文件,开头第一行总会有一个不可见字符

字节流读取和写入文件中中文

java 多线程读取txt 文件

Matlab读取txt文件并找出开头相同的行并输出成另一个txt文件

java 读取 txt 文件