如果清空Isilon cluster上的文件，Shadow Store和data reduction的统计信息也会一并清空么？

Posted 2020-12-13 awpatp

【声明：数据安全无比重要，清空数据的动作很危险，本文操作属研究兴趣使然，请读者不要模仿】

我们都知道Isilon在inline dedupe和post dedupe之后，会把重复的8K的blocks都会放在shadow store中，今天我想到一个问题：如果我们把cluster上的文件删光了，那么shadow store的文件何时会被清空？data reduction的统计信息也会被清空么？如果不能，那么怎么做才能更新shadow store，并且让isilon的统计信息跟当前存储的数据相一致呢？

答案应该是否定的，Shadow Store的信息更新是由Job engine里的job来更新的。而且，data-reduction的统计信息是根据shadow store的信息来计算的，所以，如果shadow store的信息不更新，那么data-reduction的信息就也不会更新了。

来看看验证过程：

当拷贝大量数据的时候，这个统计信息差个百分之二三十，我们也很难分辨，所以，干脆试试清空数据，那么统计数据是否跟数据情况相符就一目了然了。

当前这个Isilon cluster的shadow store的统计信息如下：

数据压缩和消重的统计信息如下：

使用下面的命令来快速批量删除cluster上的目录及目录里的文件：

# isi job jobs start treedelete --paths /ifs/dir1 --paths /ifs/dir2 --policy=HIGH

这个job运行结束之后，再运行下面两个job：

• ShadowStoreProtect - Frees up space that is associated with shadow stores. Shadow stores are hidden files that are referenced by cloned and deduplicated files.
• ShadowStoreDelete - Protects shadow stores that are referenced by a logical i-node (LIN) with a higher level of protection.

job report的记录如下：

注意，这里的tree delete job 失败并不是说文件没清空，而是这两个文件夹上建立了smart quota，job虽然失败了，但也仅仅是这两个目录删不掉而已。

再看看统计信息：

Shadow Store的统计信息已经更新了。

Data reduction 的统计信息也已更新如下：

注意，这里/ifs下已经没有任何的用户文件了，这里的739.31MB的logical data，都是系统文件。

参考资料

============

System jobs library

http://doc.isilon.com/onefs/8.1.1/help/en-us/ifs_r_system_jobs_library.html