在不使用 windows 文件缓存的情况下复制文件

Posted 2023-04-13

【中文标题】在不使用 windows 文件缓存的情况下复制文件

【英文标题】：Copy a file without using the windows file cache

【发布时间】：2010-09-08 02:24:31

【问题描述】：

有人知道将文件从路径 A 复制到路径 B 并抑制 Windows 文件系统缓存的方法吗？ 典型用途是将大文件从 USB 驱动器或服务器复制到本地计算机。如果文件真的很大，Windows 似乎会交换所有内容，例如2GiB。 更喜欢 C# 中的示例，但我猜如果可能的话，这将是某种 Win32 调用。

【问题讨论】：

如果你真的想了解缓存与文件复制交互的机制，this is a must read.

【参考方案1】：

在 C# 中我发现类似这样的工作，可以将其更改为直接复制到目标文件：

    public static byte[] ReadAllBytesUnbuffered(string filePath)
    
        const FileOptions FileFlagNoBuffering = (FileOptions)0x20000000;
        var fileInfo = new FileInfo(filePath);
        long fileLength = fileInfo.Length;
        int bufferSize = (int)Math.Min(fileLength, int.MaxValue / 2);
        bufferSize += ((bufferSize + 1023) & ~1023) - bufferSize;
        using (var stream = new FileStream(filePath, FileMode.Open, FileAccess.Read, FileShare.None,
                                           bufferSize, FileFlagNoBuffering | FileOptions.SequentialScan))
        
            long length = stream.Length;
            if (length > 0x7fffffffL)
            
                throw new IOException("File too long over 2GB");
            
            int offset = 0;
            int count = (int)length;
            var buffer = new byte[count];
            while (count > 0)
            
                int bytesRead = stream.Read(buffer, offset, count);
                if (bytesRead == 0)
                
                    throw new EndOfStreamException("Read beyond end of file EOF");
                
                offset += bytesRead;
                count -= bytesRead;
            
            return buffer;
        
    

【参考方案2】：

更重要的是，还有 FILE_FLAG_WRITE_THROUGH 和 FILE_FLAG_NO_BUFFERING。

MSDN 有一篇关于它们的好文章：http://support.microsoft.com/kb/99794

【讨论】：

这个答案虽然正确，但并不是对原始问题的答案。有编辑权限的人可以改写吗？

您能告诉我您在哪里看到 Q 和 A 之间的差异吗？我很乐意改写答案。

@gabr：您的回复引用（“更重要”）另一个答案。别。让你的答案独立。认为只有你回答，没有其他人。

【参考方案3】：

我不确定这是否有帮助，但请查看 Increased Performance Using FILE_FLAG_SEQUENTIAL_SCAN。

总结

CreateFile() 有一个标志 称为 FILE_FLAG_SEQUENTIAL_SCAN 其中 将指示缓存管理器 按顺序访问文件。

任何阅读潜在大文件的人 使用顺序访问可以指定 此标志用于提高性能。 如果您正在阅读，此标志很有用 “大部分”顺序的文件， 但你偶尔会跳过小的 字节范围。

【讨论】：

我将此标志用于相同目的，并且我可以证明 FILE_FLAG_SEQUENTIAL_SCAN 正在完成这项工作。

【参考方案4】：

如果您不介意使用工具，ESEUTIL 对我来说非常有用。

您可以查看此blog 条目，比较缓冲和非缓冲 IO 函数以及从何处获取 ESEUTIL。

从 technet 博客复制一些文本：

所以看看上面缓冲 I/O 的定义，我们可以看到感知到的性能问题在哪里——文件系统缓存开销。当我们不打算在复制完成后访问源文件时，尝试将大文件从一个位置复制到另一个位置时，首选无缓冲 I/O（或原始文件副本）。这将避免文件系统缓存开销，并防止文件系统缓存被大文件数据有效刷新。许多应用程序通过调用 CreateFile() 来创建一个空的目标文件，然后使用 ReadFile() 和 WriteFile() 函数来传输数据来实现这一点。 CreateFile() - CreateFile 函数创建或打开文件、文件流、目录、物理磁盘、卷、控制台缓冲区、磁带驱动器、通信资源、邮槽或命名管道。该函数返回可用于访问对象的句柄。 ReadFile() - ReadFile 函数从文件中读取数据，并从文件指针指示的位置开始。您可以将此函数用于同步和异步操作。 WriteFile() - WriteFile 函数将数据写入文件指针指定位置的文件。此函数设计用于同步和异步操作。 对于在网络上复制非常大的文件，我选择的复制实用程序是 ESEUTIL，它是 Exchange 提供的数据库实用程序之一。

【参考方案5】：

Eseutil 是正确答案，从 Win7 / 2008 R2 开始也可以使用 Xcopy 中的 /j 开关，效果相同。

【参考方案6】：

我知道这个问题是 11 年前的问题，现在有 robocopy 可以替代 xcopy。

你需要检查 /J 选项 /J :: copy using unbuffered I/O (recommended for large files)