unicode和多字节字符集的区别，该如何解决

Posted 2023-04-16

参考技术A 不应该出现这种问题。
标准界面资源都是在字符集之间通用的，你是否使用了界面库？还是在哪里增加了#ifdef
unicode
之类的代码？或者上个图看看，具体改变是什么吧。

如何检查字节数组是不是包含 Java 中的 Unicode 字符串？

【中文标题】如何检查字节数组是不是包含 Java 中的 Unicode 字符串？

【英文标题】：How can I check whether a byte array contains a Unicode string in Java?如何检查字节数组是否包含 Java 中的 Unicode 字符串？

【发布时间】：2010-11-14 15:48:48

【问题描述】：

给定一个 UTF-8 编码字符串或任意二进制数据的字节数组，在 Java 中可以使用哪些方法来确定它是什么？

该数组可以通过类似于以下的代码生成：

byte[] utf8 = "Hello World".getBytes("UTF-8");

或者它可能是由类似于以下的代码生成的：

byte[] messageContent = new byte[256];
for (int i = 0; i < messageContent.length; i++) 
    messageContent[i] = (byte) i;

关键是我们不知道数组包含什么但需要找出来才能填写下面的函数：

public final String getString(final byte[] dataToProcess) 
    // Determine whether dataToProcess contains arbitrary data or a UTF-8 encoded string
    // If dataToProcess contains arbitrary data then we will BASE64 encode it and return.
    // If dataToProcess contains an encoded string then we will decode it and return.

如何扩展它以涵盖 UTF-16 或其他编码机制？

【问题讨论】：

一个类似的问题有一些来自 Edward Wilde 的有用链接 - ***.com/questions/377294/…

【参考方案1】：

在原始问题中：Java 中如何检查字节数组是否包含 Unicode 字符串？我发现术语 Java Unicode 本质上是指 Utf16 代码单元。我自己解决了这个问题并创建了一些代码，可以帮助任何有这类问题的人找到答案。

我创建了 2 个主要方法，一个将显示 Utf-8 代码单元，另一个将创建 Utf-16 代码单元。 Utf-16 代码单元是您在使用 Java 和 JavaScript 时会遇到的……通常以“\ud83d”的形式看到

有关代码单元和转换的更多帮助，请访问网站；

https://r12a.github.io/apps/conversion/

这是代码...

    byte[] array_bytes = text.toString().getBytes();
    char[] array_chars = text.toString().toCharArray();
    System.out.println();
    byteArrayToUtf8CodeUnits(array_bytes);
    System.out.println();
    charArrayToUtf16CodeUnits(array_chars);


public static void byteArrayToUtf8CodeUnits(byte[] byte_array)

    /*for (int k = 0; k < array.length; k++)
    
        System.out.println(name + "[" + k + "] = " + "0x" + byteToHex(array[k]));
    */
    System.out.println("array.length: = " + byte_array.length);
    //------------------------------------------------------------------------------------------
    for (int k = 0; k < byte_array.length; k++)
    
        System.out.println("array byte: " + "[" + k + "]" + " converted to hex" + " = " + byteToHex(byte_array[k]));
    
    //------------------------------------------------------------------------------------------

public static void charArrayToUtf16CodeUnits(char[] char_array)

    /*Utf16 code units are also known as Java Unicode*/
    System.out.println("array.length: = " + char_array.length);
    //------------------------------------------------------------------------------------------
    for (int i = 0; i < char_array.length; i++)
    
        System.out.println("array char: " + "[" + i + "]" + " converted to hex" + " = " + charToHex(char_array[i]));
    
    //------------------------------------------------------------------------------------------

static public String byteToHex(byte b)

    //Returns hex String representation of byte b
    char hexDigit[] =
            
                    '0', '1', '2', '3', '4', '5', '6', '7',
                    '8', '9', 'a', 'b', 'c', 'd', 'e', 'f'
            ;
    char[] array =  hexDigit[(b >> 4) & 0x0f], hexDigit[b & 0x0f] ;
    return new String(array);

static public String charToHex(char c)

    //Returns hex String representation of char c
    byte hi = (byte) (c >>> 8);
    byte lo = (byte) (c & 0xff);

    return byteToHex(hi) + byteToHex(lo);

【参考方案2】：

我认为 Michael 已经很好地解释了 in his answer 这可能是找出字节数组是否包含所有有效 utf-8 序列的唯一方法。我在 php 中使用以下代码

function is_utf8($string) 

    return preg_match('%^(?:
          [\x09\x0A\x0D\x20-\x7E]            # ASCII
        | [\xC2-\xDF][\x80-\xBF]             # non-overlong 2-byte
        |  \xE0[\xA0-\xBF][\x80-\xBF]        # excluding overlongs
        | [\xE1-\xEC\xEE\xEF][\x80-\xBF]2  # straight 3-byte
        |  \xED[\x80-\x9F][\x80-\xBF]        # excluding surrogates
        |  \xF0[\x90-\xBF][\x80-\xBF]2     # planes 1-3
        | [\xF1-\xF3][\x80-\xBF]3          # planes 4-15
        |  \xF4[\x80-\x8F][\x80-\xBF]2     # plane 16
    )*$%xs', $string);

 

取自W3.org

【讨论】：

"Java 中可以使用哪些方法"

【参考方案3】：

这是一种使用 W3C site 中的 UTF-8“二进制”正则表达式的方法

static boolean looksLikeUTF8(byte[] utf8) throws UnsupportedEncodingException 

  Pattern p = Pattern.compile("\\A(\n" +
    "  [\\x09\\x0A\\x0D\\x20-\\x7E]             # ASCII\\n" +
    "| [\\xC2-\\xDF][\\x80-\\xBF]               # non-overlong 2-byte\n" +
    "|  \\xE0[\\xA0-\\xBF][\\x80-\\xBF]         # excluding overlongs\n" +
    "| [\\xE1-\\xEC\\xEE\\xEF][\\x80-\\xBF]2  # straight 3-byte\n" +
    "|  \\xED[\\x80-\\x9F][\\x80-\\xBF]         # excluding surrogates\n" +
    "|  \\xF0[\\x90-\\xBF][\\x80-\\xBF]2      # planes 1-3\n" +
    "| [\\xF1-\\xF3][\\x80-\\xBF]3            # planes 4-15\n" +
    "|  \\xF4[\\x80-\\x8F][\\x80-\\xBF]2      # plane 16\n" +
    ")*\\z", Pattern.COMMENTS);

  String phonyString = new String(utf8, "ISO-8859-1");
  return p.matcher(phonyString).matches();

正如最初所写的那样，正则表达式旨在用于字节数组，但您不能使用 Java 的正则表达式来做到这一点；目标必须是实现 CharSequence 接口的东西（所以char[] 也出来了）。通过将byte[] 解码为ISO-8859-1，您可以创建一个字符串，其中每个char 具有与原始数组中相应字节相同的无符号数值。

正如其他人所指出的，像这样的测试只能告诉您byte[] 可以包含 UTF-8 文本，而不是它确实。但是正则表达式是如此详尽，原始二进制数据似乎极不可能滑过它。即使是全零数组也不匹配，因为正则表达式永远不会匹配NUL。如果唯一的可能性是 UTF-8 和二进制，我愿意相信这个测试。

当您使用它时，您可以剥离 UTF-8 BOM（如果有的话）；否则，UTF-8 CharsetDecoder 会将其作为文本传递。

UTF-16 会困难得多，因为很少有字节序列总是无效。我唯一能想到的就是缺少低代理伙伴的高代理角色，反之亦然。除此之外，您将需要一些上下文来确定给定序列是否有效。您可能有一个西里尔字母，后跟一个中文表意文字，然后是一个笑脸dingbat，但它是完全有效的UTF-16。

【参考方案4】：

问题假设字符串和二进制数据之间存在根本区别。虽然直觉上是这样，但几乎不可能准确地定义这种差异是什么。

Java 字符串是 16 位数量的序列，对应于（几乎）2**16 个 Unicode 基本代码点之一。但是，如果您查看那些 16 位“字符”，每个字符都可以平等地表示一个整数、一对字节、一个像素等等。位模式没有任何内在的含义来说明它们所代表的内容。

现在假设您将问题重新表述为寻求一种方法来区分 UTF-8 编码的 TEXT 和任意二进制数据。这有帮助吗？理论上不会，因为编码任何书面文本的位模式也可以是数字序列。 （这里很难说“任意”的真正含义。你能告诉我如何测试一个数字是否“任意”吗？）

我们可以在这里做的最好的事情是：

测试字节是否为有效的 UTF-8 编码。 测试解码的 16 位数量是否都是合法的，“分配的”UTF-8 代码点。 （一些 16 位数量是非法的（例如 0xffff），而其他数量目前没有分配给任何字符。）但是如果文本文档真的使用未分配的代码点怎么办？ 根据假定的文档语言测试 Unicode 代码点是否属于您期望的“平面”。但是，如果您不知道应该使用哪种语言，或者文档使用多种语言怎么办？ 测试是代码点序列看起来像单词、句子或其他任何东西。但是，如果我们有一些恰好包含嵌入式文本序列的“二进制数据”呢？

总而言之，如果解码失败，您可以判断一个字节序列肯定不是 UTF-8。除此之外，如果您对语言做出假设，您可以说一个字节序列可能或可能不是一个 UTF-8 编码的文本文档。

IMO，您能做的最好的事情就是避免陷入您的程序需要做出此决定的情况。如果无法避免，请认识到您的程序可能会出错。通过思考和努力，您可以使这不太可能发生，但概率永远不会为零。

【参考方案5】：

不可能在所有情况下都完全准确地做出该决定，因为 UTF-8 编码字符串是一种任意二进制数据，但您可以查找 @987654321 的字节序列@。如果您发现任何内容，您就知道它不是 UTF-8。

如果你的数组足够大，这应该会很好，因为这样的序列很可能出现在“随机”二进制数据中，例如压缩数据或图像文件。

但是，有可能获得解码为完全无意义的字符串（可能来自各种不同的脚本）的有效 UTF-8 数据。短序列更有可能出现这种情况。如果您对此感到担心，则可能需要进行更仔细的分析，以查看作为字母的字符是否都属于同一个code chart。再说一次，当您有混合脚本的有效文本输入时，这可能会产生误报。

【参考方案6】：

如果字节数组以Byte Order Mark (BOM) 开头，那么很容易区分使用了什么编码。用于处理文本流的标准 Java 类可能会自动为您处理。

如果您的字节数据中没有 BOM，这将更加困难 - .NET 类可以执行统计分析来尝试计算编码，但我认为这是假设您知道自己是处理文本数据（只是不知道使用了哪种编码）。

如果您对输入数据的格式有任何控制权，那么最好的选择是确保它包含字节顺序标记。

【讨论】：

Java 不会自动插入 BOM，也不会在解码时将其移除。

Erk，我应该说 Java 不处理 UTF-8 的 BOM。 UTF-16/UTF-32 是否支持取决于选择的编码机制：java.sun.com/javase/6/docs/technotes/guides/intl/…

【参考方案7】：

尝试解码。如果您没有收到任何错误，那么它是一个有效的 UTF-8 字符串。

【讨论】：

-1：事实错误。非文本二进制流可能被解码为有效的 UTF-8 字符串。如果 UTF-8 解码失败，则意味着您的二进制数据不是 UTF-8；但如果 UTF-8 解码没有失败，则不能保证二进制数据是 UTF-8。

+1 绝对正确。如果解码没有错误，则它是有效的 UTF-8 文本数据。它可能是毫无意义的文本数据，例如拉丁语、中文、泰语和希腊语字符的狂野混合，但这是语义上的区别，而不是技术上的区别。

公平点迈克尔。我想在那种情况下我应该说：-1 不回答这个问题。断言它是一个有效的 UTF-8 字符串并没有回答这个问题，它试图找出它是一个字符串还是二进制数据。仅仅因为它是一个有效的 UTF-8 表示并不能告诉您原始数据是二进制的（碰巧是有效的 UTF-8）还是原始数据是否是真正的文本数据。