Windows服务器的重复数据删除功能

Posted 2021-02-21 qishine

自从Windows server 2012开始，微软在系统层面提供了重复数据删除功能。重复数据删除是为了文件服务器、虚拟化服务器等设计的。其实只要是存放的文件有大部分内容是相同的就可以发挥很好的效果。前不久装的WSUS服务器，已经使用了3.5T的存储空间了，按这个速度，过不了几个月就会耗尽空间的。因为目前的补丁都是累积更新，即使你一年不打补丁，也只需要安装最新的就可以了。所以这些补丁中肯定有大量数据都是重复的，应该能节省不少空间。
https://www.cnblogs.com/qishine/p/12801699.html
重复数据删除Data Deduplication是属于文件和存储服务下的一个角色服务，系统默认不安装，需要手动安装。安装之后可以在服务器管理器的界面中方便的配置。选中磁盘后，可以选择数据删重的使用场景，包括文件服务器、桌面虚拟化VDI服务器和虚拟化服务器。这些场景中都是有大量文件是重复的情况。因为Windows 重复数据删除不是比对每个文件是否相同，而是把文件分块，比较每个存储块是否相同。如果有相同的就只保留一份，其余做成链接删除数据。至于磁盘格式化的时候选用多大的块block，需要和具体应用相匹配以达到较好的效果。

配置的时候可以选择新的文件经过几天以后才开始删重，以及删除的具体时间和任务进行时间。第一次任务会消耗比较多的时间和系统资源。任务开始后可以使用powershell命令查看状态。可以看到任务进行的百分比和节省的空间。

Get-DedupJob -Volume d:

Get-DedupStatus -Volume d:


任务运行的时候还是非常消耗内存的。fsdmhost.exe会消耗大量的系统资源。所以建议在非工作时间来进行。

当任务完成后，可以看到文件占用的空间变成0了。对于WSUS的数据大概可以节约40%的空间。

更多规划和使用信息细节可以参考微软的文章。Plan to Deploy Data Deduplication
https://docs.microsoft.com/en-us/previous-versions/windows/it-pro/windows-server-2012-R2-and-2012/hh831700(v=ws.11)?redirectedfrom=MSDN