Cpdetector编码识别

Posted EliteQing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Cpdetector编码识别相关的知识,希望对你有一定的参考价值。

概述

浏览器在打开一个网页时,首要任务是判断网页的编码格式,然后采用合适的编码进行解析;我们常用的文本编辑器在打开文档时同样需要判断文档的编码进行相应的解析。这涉及到的技术就是编码甄别,下面我们介绍一款比较好用的Java 库。

http://sourceforge.net/projects/cpdetector/这个地址可以下载到。

实例

不做过多赘述了,直接贴出实例代码。

package com.coder4j.main.cpdetector;

import info.monitorenter.cpdetector.io.ASCIIDetector;
import info.monitorenter.cpdetector.io.ByteOrderMarkDetector;
import info.monitorenter.cpdetector.io.CodepageDetectorProxy;
import info.monitorenter.cpdetector.io.JChardetFacade;
import info.monitorenter.cpdetector.io.ParsingDetector;
import info.monitorenter.cpdetector.io.UnicodeDetector;

import java.net.MalformedURLException;
import java.net.URL;

/**
 * 导入如下jar<br>
 * cpdetector_1.0.10.jar,antlr-2.7.4.jar,chardet-1.0.jar
*
 * @author Chinaxiang
 * @date 2015-10-11
*
*/
public class UseCpdetector {

/**
 * 获取URL的编码
*
 * @param url
 * @return
*/
 public static String getUrlEncode(URL url) {
/*
 * detector是探测器,它把探测任务交给具体的探测实现类的实例完成。
 * cpDetector内置了一些常用的探测实现类,这些探测实现类的实例可以通过add方法 加进来,如ParsingDetector、
 * JChardetFacade、ASCIIDetector、UnicodeDetector。
 * detector按照“谁最先返回非空的探测结果,就以该结果为准”的原则返回探测到的
 * 字符集编码。使用需要用到三个第三方JAR包:antlr.jar、chardet.jar和cpdetector.jar
 * cpDetector是基于统计学原理的,不保证完全正确。
*/
 CodepageDetectorProxy detector = CodepageDetectorProxy.getInstance();
/*
 * ParsingDetector可用于检查html、XML等文件或字符流的编码,构造方法中的参数用于
 * 指示是否显示探测过程的详细信息,为false不显示。
*/
 detector.add(new ParsingDetector(false));
 detector.add(new ByteOrderMarkDetector());
/*
 * JChardetFacade封装了由Mozilla组织提供的JChardet,它可以完成大多数文件的编码
 * 测定。所以,一般有了这个探测器就可满足大多数项目的要求,如果你还不放心,可以
 * 再多加几个探测器,比如下面的ASCIIDetector、UnicodeDetector等。
*
 * 用到antlr.jar、chardet.jar
*/
detector.add(JChardetFacade.getInstance());
 // ASCIIDetector用于ASCII编码测定
detector.add(ASCIIDetector.getInstance());
 // UnicodeDetector用于Unicode家族编码的测定
detector.add(UnicodeDetector.getInstance());


 java.nio.charset.Charset charset = null;
 try {
 charset = detector.detectCodepage(url);
 } catch (Exception ex) {
ex.printStackTrace();
}
 if (charset != null) {
 return charset.name();
}
 return null;
}

 public static void main(String[] args) {
 try {
 URL url = new URL("http://www.baidu.com");
 String encode = getUrlEncode(url);
 System.out.println(encode);// UTF-8
 } catch (MalformedURLException e) {
e.printStackTrace();
}
}

}
View Code

文件的路径也可以转为URL,所以对文件编码的判断你应该会了。

以上是关于Cpdetector编码识别的主要内容,如果未能解决你的问题,请参考以下文章

JAVA检查文件文件流的字符集FileMultipartFilecpdetector库

利用java.nio.charset.CharsetDecoder自动识别字符集

markdown 打字稿...编码说明,提示,作弊,指南,代码片段和教程文章

使用片段时 Intellij 无法正确识别 Thymeleaf 模型变量

手写数字识别——基于全连接层和MNIST数据集

从 XML 声明片段获取 XML 编码:部分内容解析不支持 XmlDeclaration