对于大文件,在标记 inputStream 并重置它时出现“重置为无效标记”的异常。

Posted

技术标签:

【中文标题】对于大文件,在标记 inputStream 并重置它时出现“重置为无效标记”的异常。【英文标题】:Exception stating " Resetting to invalid mark " comes while marking an inputStream and resetting it, for Large files.? 【发布时间】:2013-09-05 14:17:00 【问题描述】:

我正在使用 InputStream 对象来计算某个文件的 Md5。 我标记了流 后来我重置了流。但是对于大文件,会出现以下异常...

inStreamLatestFile.mark(0);
checkSumCalculated = MD5CheckSumCalculator.calculateMD5CheckSum(inStreamLatestFile);
inStreamLatestFile.reset();

异常

.Md5ValidationAggrStrat ||**Error in calculating checksum:: java.io.IOException: Resetting to invalid mark**
                        ||java.io.IOException: Resetting to invalid mark
                        ||at java.io.BufferedInputStream.reset(BufferedInputStream.java:437)
                        ||at com.amadeus.apt.ib.modules.func.map.camel.strategy.Md5ValidationAggrStrategy.aggregate(Md5ValidationAggrStrategy.java:81)
                        ||at org.apache.camel.processor.aggregate.AggregateProcessor.onAggregation(AggregateProcessor.java:365)
                        ||at org.apache.camel.processor.aggregate.AggregateProcessor.doAggregation(AggregateProcessor.java:245)
                        ||at org.apache.camel.processor.aggregate.AggregateProcessor.process(AggregateProcessor.java:201)
                        ||at org.apache.camel.util.AsyncProcessorConverterHelper$ProcessorToAsyncProcessorBridge.process(AsyncProcessorConverterHelper.java:61)
                        ||at org.apache.camel.util.AsyncProcessorHelper.process(AsyncProcessorHelper.java:73)

我已经尝试关闭流并以这种方式重新打开它..只是为了得到一些异常如下::

 try 
        inStreamLatestFile= ExchangeHelper.getMandatoryInBody(
                  oldExchange, InputStream.class);

        //inStreamLatestFile.mark(0);
        checkSumCalculated = MD5CheckSumCalculator.calculateMD5CheckSum(inStreamLatestFile);

        //closing the inputStream of the latest file
        if(inStreamLatestFile != null)
            try 
                inStreamLatestFile.close();
             catch (IOException e) 
                logger.error("Error occurred in closing the stream :: "+ e.getMessage());
            
        


        tempInputStream= ExchangeHelper.getMandatoryInBody(
                  oldExchange, InputStream.class);
        oldExchange.getIn().setBody(tempInputStream);

但是,当我尝试重新使用新检索的 InputStream 时,会出现以下异常。

 caught: java.io.IOException: Stream closed: java.io.IOException: Stream closed
at java.io.BufferedInputStream.getBufIfOpen(BufferedInputStream.java:162)

【问题讨论】:

calculateMD5CheckSum 是否也可以标记流? 非常感谢您解决这个问题。不,它是第三方 Api,我无法控制它。此方法仅更改 inputStream,因此我需要标记和重置流,因为我稍后需要它... 可能getMandatoryInBody每次都返回同一个流实例。我不知道那个 API。 是的,这可能是一个问题。我正在研究 apache camel 框架 所以基本上它归结为这个问题,如何创建一个重复的 inputStream 使得对象是不同的实例......? ? 您可以将原来的InputStream读成ByteArrayOutputStream。将该流中的bytes 复制到新的ByteArrayInputStream 中。将其传递给 MD5 计算器。再次使用相同的字节创建一个新的ByteArrayInputStream 并将其传递给您需要的任何其他内容。 【参考方案1】:

我假设您使用的是BufferedInputStream,因为它的reset() 方法的源代码是

public synchronized void reset() throws IOException 
    getBufIfOpen(); // Cause exception if closed
    if (markpos < 0)
        throw new IOException("Resetting to invalid mark"); // exception you are getting
    pos = markpos;

下面的调用

MD5CheckSumCalculator.calculateMD5CheckSum(inStreamLatestFile);

一定是对markPos做点什么。

如果您无法控制它,只需重新打开流。如果您无法重新打开流,即。您每次都在检索相同的实例,请考虑使用 ByteArrayOutputStream

您可以将原始InputStream 读入ByteArrayOutputStream。将该流中的字节复制到新的ByteArrayInputStream 中。将其传递给 MD5 计算器。然后使用相同的字节再次创建一个新的ByteArrayInputStream,并将其传递给您需要的任何其他内容。

【讨论】:

@Kumar 你最初是如何初始化inStreamLatestFile的?只需将其关闭并重新初始化即可。 您正在重用同一个关闭的流,而不是重新初始化的流。

以上是关于对于大文件,在标记 inputStream 并重置它时出现“重置为无效标记”的异常。的主要内容,如果未能解决你的问题,请参考以下文章

输入流,标记(),重置()

无法两次读取相同的 InputStream [重复]

使用 BufferedInputStream 包装后对原始 InputStream 的影响

任何 util 类/方法来获取大字符串并返回 InputStream?

Java:InputStream 读取大文件太慢

在 Android 中向地图添加标记