没有文件头的txt文件,如何判断是啥编码格式

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了没有文件头的txt文件,如何判断是啥编码格式相关的知识,希望对你有一定的参考价值。

txt格式分为四种编码:ANSI、Unicode、Unicode big endian、UTF-8,其中ANSI编码是没有文件头的,其他三种编码有文件头。

    Unicode:feff

    Unicode big endian:fffe

    UTF-8:efbbbf

现在已知三种编码的文件头,使用链接文件类型识别

修改TypeList文件,即可识别

参考技术A 一般txt文件都是有文件头的,无文件头的都是按ANSI编码来处理的,可有的UTF-8编码的txt文件也是没文件头的,如果不判断就直接读入就会出现显示为乱码。

没有文件头的txt文件,怎么判断是ANSI编码还是UTF-8编码格式呢?本回答被提问者采纳
参考技术B C#
//=2=获得文件编码格式的类
public class fileEncode
//获得文件编码格式的类
public static System.Text.Encoding GetFileEncodeType(string filename)

System.IO.FileStream fs = new System.IO.FileStream(filename, System.IO.FileMode.Open, System.IO.FileAccess.Read);
System.IO.BinaryReader br = new System.IO.BinaryReader(fs);
Byte[] buffer = br.ReadBytes(2);
br.Close();
fs.Close();
if (buffer[0] >= 0xEF)

if (buffer[0] == 0xEF && buffer[1] == 0xBB)

return System.Text.Encoding.UTF8;

else if (buffer[0] == 0xFE && buffer[1] == 0xFF)

return System.Text.Encoding.BigEndianUnicode;

else if (buffer[0] == 0xFF && buffer[1] == 0xFE)

return System.Text.Encoding.Unicode;

else

return System.Text.Encoding.Default;


else

return System.Text.Encoding.Default;


//-------------class fileEncode Over

如何判断一个文件的编码格式,UNICODE,BIG5,毕业设计

毕业设计用,最好用C#编,需要详细说明,论文,有现金报酬,QQ392953872
快帮忙啊

这里指的文本是用于Windows系统中的扩展名为.txt的文件。

Notepad(记事本)只支持四种格式:ANSI/Unicode/Unicode big endian/UFT-8,在Delphi中如何判断与读取这些不同格式的文本呢?

首先,不同编码的文本,是根据文本的前两个字节来定义其编码格式的。定义如下:

ANSI: 无格式定义;
Unicode: 前两个字节为FFFE;
Unicode big endian: 前两字节为FEFF;
UTF-8: 前两字节为EFBB;

知道了各种编码格式的区别,写代码就容易了,以下是我在一个软件中写的处理代码:
(注意,Delphi的TMemo/TRichEdit只支持ANSI的文本文件,其它编码格式的文件需要
自行写代码转换成GB2312或BIG5,方能正确显示)

type
TTextFormat=(tfAnsi,tfUnicode,tfUnicodeBigEndian,tfUtf8);
const
TextFormatFlag:array[tfAnsi..tfUtf8] of word=($0000,$FFFE,$FEFF,$EFBB);

function WordLoHiExchange(w:Word):Word;register;
asm
XCHG AL, AH
end;

TextFormat返回文本编码类型,sText未经处理的文本
procedure ReadTextFile(const FileName: string;
var TextFormat: TTextFormat; var sText:string);
var
w:Word;
b:Byte;
begin
with TFileStream.Create(FileName,fmOpenRead or fmShareDenyNone) do
try
Read(w,2);
w:=WordLoHiExchange(w);//因为是以Word数据类型读取,故高低字节互换
if w = TextFormatFlag[tfUnicode] then
TextFormat:= tfUnicode
else if w = TextFormatFlag[tfUnicodeBigEndian] then
TextFormat:= tfUnicodeBigEndian
else if w = TextFormatFlag[tfUtf8] then
begin
Read(b,1);//这里要注意一下,UFT-8必须要跳过三个字节。
TextFormat:=tfUtf8;
end else
begin
TextFormat:=tfANSI;
Position:=0;
end;
SetLength(sText,Size-Position);
ReadBuffer(sText[1],Size-Position);
finally
Free;
end;
end;
参考技术A 每种文件格式都有特定的数据标志吧

把文件读取出来
然后去查找一下它的标记应该就可以了吧
呵呵

--街机游戏下载网--
romsdown@.cn
去掉@符号即可访问^_^
参考技术B 其实unicode
big-end和unicode
little-end都一样是unicode编码,所不同的是前两种强调的是编码在计算机上的存储形式。big-end的意思是高位优先存储,即字符字节按照由高到低的顺序存储;而little-end的意思是低位优先存储,即字符字节按照由低到高的顺序存储。
例如一个字符的unicode编码是0102,如果用big-end来存储,则就以0102的顺序存储;如果用little-end来存储,则以0201的顺序存储。
ansi通常指windows系统当前使用的编码页,属于多字节字符编码,与unicode没有关系,是两种不同的编码方式。
而utf-8是unicode编码的压缩编码方式,用utf-8压缩后的unicode编码长度是可变的,从1到4个字节的字符都有。

以上是关于没有文件头的txt文件,如何判断是啥编码格式的主要内容,如果未能解决你的问题,请参考以下文章

java怎么查看一段中文是啥编码格式

如何判断一个文件的编码格式,UNICODE,BIG5,毕业设计

Java IO读取txt文件乱码。前提不知道文档是啥编码格式

java 怎么判断文本内容的编码格式

java如何判断txt文件是ansi编码?

Java判断文本文件编码格式以及读取