有没有办法使用 Java 流将十六进制字符串转换为字节？

Posted 2023-04-18

【中文标题】有没有办法使用 Java 流将十六进制字符串转换为字节？

【英文标题】：Is there a way to convert Hex string to bytes using Java streams?

【发布时间】：2022-01-11 19:37:10

【问题描述】：

从长远来看，下面的代码 sn-p 总是会导致 Out-Of-Memory 错误，尤其是从非常庞大的文件/内容中读取时。

有没有其他方法可以重写这个，尤其是使用流？

我在这里看到了一种将字节数组转换为十六进制字符串的方法：Effective way to get hex string from a byte array using lambdas and streams

public static byte[] hexStringToBytes(String hexString) 
        if (LOGGER.isDebugEnabled()) 
            LOGGER.debug("Hex string to convert to byte[] " + hexString);
        
        byte[] buf = new byte[hexString.length() / 2];
        String twoDigitHexToConvertToByte;
        for (int i = 0; i < buf.length; i++) 
            twoDigitHexToConvertToByte = extractPairFromStringBasedOnIndex(hexString, i);
            parseStringToBytesAndStoreInArrayOnIndex(twoDigitHexToConvertToByte, buf, i);
        

        return buf;
    

 private static void parseStringToBytesAndStoreInArrayOnIndex(String twoDigitHexToConvertToByte, byte[] buf, int i) 
        try 
            buf[i] = (byte) Integer.parseInt(twoDigitHexToConvertToByte, HEX_RADIX);
         catch (NumberFormatException e) 
            if (LOGGER.isDebugEnabled()) 
                LOGGER.info("Tried to convert non hex string:", e);
             else 
                LOGGER.info("Tried to convert non hex string:" + e.getMessage());
            

            throw new HexStringToBytesException("Tried to convert non hex string"); // NOSONAR xlisjov don't want original cause since it caused exceptions.
        
    

private static String extractPairFromStringBasedOnIndex(String hexString, int pairNumber) 
        return hexString.substring(2 * pairNumber, 2 * pairNumber + 2);
    

【问题讨论】：

如何处理奇数长度的十六进制字符串？您是否在字符串中隐式添加“0”前缀或附加“0”（或其他十六进制数字）？你的琴弦有多长？您可能需要进行某种形式的缓冲输入，然后写入以防止您遇到的内存错误。使用流可能无法解决您现有的问题。

WJS，我不太明白你的问题。好吧，即使我不想使用流，有没有其他方法可以更好地优化粘贴的代码 sn-p 以避免从长远来看内存不足的问题？

您说您想将十六进制字符串转换为字节。每个字节包含两个十六进制数字。将“ABC”视为奇数长度的十六进制字符串。第一个字节“AB”后跟“C0”还是“0A”后跟“BC”？

提供的答案对您有用吗？如果是这样，您应该接受它，因为其他人也可能受益。

【参考方案1】：

将十六进制字符串转换为字节数组的最简单方法是 JDK 17 的 HexFormat.parseHex(…)。

byte[] bytes = HexFormat.of().parseHex("c0ffeec0de");
System.out.println(Arrays.toString(bytes));
System.out.println(HexFormat.of().formatHex(bytes));

[-64, -1, -18, -64, -34]
c0ffeec0de

这是最方便的方法，也可以处理格式化输入，例如

byte[] bytes = HexFormat.ofDelimiter(" ").withPrefix("0x")
    .parseHex("0xc0 0xff 0xee 0xc0 0xde");

请注意，如果您必须处理整个文件，即使是直截了当的

String s = Files.readString(pathToYourFile);
byte[] bytes = HexFormat.of().parseHex(s);

只要您有足够的临时内存，就可以以合理的性能运行。如果满足前提条件，这是基于 ASCII 的字符集和十六进制字符串的情况，readString 方法将读入一个数组，该数组将成为结果字符串的后备缓冲区。换句话说，跳过了其他方法固有的缓冲区之间的隐式复制。

不过，检查前置条件需要花费一些时间，我们可以跳过：

String s = Files.readString(pathToYourFile, StandardCharsets.ISO_8859_1);
byte[] bytes = HexFormat.of().parseHex(s);

这强制使用自 JDK 9 以来紧凑字符串使用的相同编码。由于十六进制字符串仅由 ASCII 字符组成，因此它将正确解释其字符集基于 ASCII 的所有源¹。仅对于不正确的来源，异常消息中可能会出现对错误字符的误解。

很难战胜它，如果使用 JDK 17 是一种选择，那么尝试替代方法是不值得的。但是如果你使用的是旧的 JDK，你可能会解析一个类似的文件

byte[] bytes;
try(FileChannel fch = FileChannel.open(pathToYourFile, StandardOpenOption.READ)) 
    bytes = hexStringToBytes(fch.map(MapMode.READ_ONLY, 0, fch.size()));

public static byte[] hexStringToBytes(ByteBuffer hexBytes) 
    byte[] bytes = new byte[hexBytes.remaining() >> 1];
    for(int i = 0; i < bytes.length; i++)
        bytes[i] = (byte)((Character.digit(hexBytes.get(), 16) << 4)
                         | Character.digit(hexBytes.get(), 16));
    return bytes;

这也利用了十六进制字符串是基于 ASCII 的事实，因此除非您使用相当不常见的字符集/编码，否则我们可以处理文件数据以缩短字符集转换。如果没有足够的物理内存来保存整个文件，这种方法也可以工作，但是，性能当然会降低。

文件也不能大于 2GiB 才能使用单个内存映射操作。在多个内存映射步骤中执行操作是可能的，但是您很快就会遇到结果的数组长度限制，因此如果这是一个问题，您无论如何都必须重新考虑整个方法。

¹因此这不适用于 UTF-16 和 EBCDIC，这是您在现实生活中可能不得不处理的仅有的两个反例，尽管这些都非常罕见。

【讨论】：

非常感谢，@Holger。但是，这种方法 - HexFormat.parseHex(...) 是否适用于 Java 8 (JDK 1.8)？

不，正如答案中所说，这是 JDK 17 的功能。如前所述，如果您不能使用 JDK 17，则必须使用答案后半部分中显示的替代方案。