GlusterFS复制卷修复功能测试分析--brick文件丢失

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了GlusterFS复制卷修复功能测试分析--brick文件丢失相关的知识,希望对你有一定的参考价值。

0、测试环境

GlusterFS 3.6.4/3.6.7/3.6.9

CentOS 6.7/7.1


1、测试用例及结果一

假设A、B副本主机,C客户机,C挂载到A。

先通过C在卷中创建1到99文件。

测试一:

A上删除 rm -f 2*,A执行heal full,看是否恢复,如果不行,再在B上执行heal full,A上看文件是否恢复。操作期间不要在C上ls。

A上删除 rm -f 3*,只在C上ls,C上看是否有3*,A上看是否恢复。


测试二:

A上删除 rm -f 4*,同时删除对应gfid文件。A执行heal full,看是否恢复,如果不行,再在B上执行heal full,A上看文件是否恢复。操作期间不要在C上ls。

A上删除 rm -f 5*,同时删除对应gfid文件。只在C上ls,C上看是否有5*,A上看是否恢复。

测试三:

B上删除 rm -f 6*,A执行heal full,看是否恢复,如果不行,再在B上执行heal full,B上看文件是否恢复。操作期间不要在C上ls。

B上删除 rm -f 7*,只在C上ls,C上看是否有7*,B上看是否恢复。


测试四:

B上删除 rm -f 8*,同时删除对应gfid文件。A执行heal full,看是否恢复,如果不行,再在B上执行heal full,B上看文件是否恢复。操作期间不要在C上ls。

B上删除 rm -f 9*,同时删除对应gfid文件。只在C上ls,C上看是否有9*,B上看是否恢复。

测试结果:

实验一

可以C 上可以看到3* 其它都不行


实验二

可以C 上可以看到5* 其它都不行


实验三

1. 可以恢复6*

2. B上没有恢复 且C看不到7*


实验四

1. 可以恢复8*

2. B上9*没有恢复 且C看不到9*


2、测试用例及结果二

再补充两个测试用例,这两个需要恢复快照,保证环境纯净可靠后再分别执行。


假设A、B副本主机,C客户机,C挂载到A。

先通过C在卷中创建1到99文件。

场景一:

A上删除 rm *,A执行heal full,看是否恢复,如果不行,再在B上执行heal full,A上看文件是否恢复。如果不行再在C上ls,看C上是否能看到文件。

如果还不行,重启A上glusterd服务,然后再执行上述操作看结果。



假设A、B副本主机,C客户机,C挂载到A。

先通过C在卷中创建1到99文件。

场景二:

B上删除 rm *,同时删除对应gfid文件。A执行heal full,看是否恢复,如果不行,再在B上执行heal full,B上看文件是否恢复。如果不行再在C上ls,看C上是否能看到文件。

如果还不行,重启B上glusterd服务,然后再执行上述操作看结果。


测试结果:

场景一

C上看到文件,其它都不行

场景二

都不行



3、测试总结-副本文件丢失修复


当复制卷中的副本文件被不小心删除(同时删除对应的gfid文件)后,可以通过

gluster volume heal VOLNAME full

命令来修复,如果不加full参数,则不会检测到丢失的副本,不进行副本修复操作。

 

当一个副本丢失后,客户端可能看到丢失的文件,也可能看不到丢失的文件,取决于挂载的主机位置。

    当仍能看到丢失的文件时:

        虽然能看到丢失的文件,但此时的ls或ls -l并不能恢复副本,当再次对丢失的文件进行修改操作时,副本文件才会被修复。

    当不能看到丢失的文件时:
        1)重新挂载会修复丢失的副本,修复后,客户端可以看到全部文件。显然线上系统通常不能这样操作。

        2)后台执行gluster volume heal VOLNAME full命令可以修复丢失副本文件,同时让客户端再次看到丢失的文件。



暗文件说明

在复制卷情况下,假设有两个brick做成的volume,当在其中一个brick上删除一个文件file(不删除对应的gfid文件)时,有可能导致(两个副本,删除其中一个副本会导致,但具体哪个副本暂不确定,也有可能是非挂载点的副本)客户端看不到该文件,此时的情况是:

    客户端看不到file;其中一个brick上有file;另外一台上无file

    此时,执行gluster volume heal full自我修复操作,效果和上面描述一样,客户端无法看到该文件,此时的file称之为暗文件。

 

    客户端重新挂载法修复(有时重新挂载可以修复,需要考虑最坏情况)。

    服务器端heal full无法修复。

 

如何恢复暗文件?

  1. 在客户端执行ls file操作。此时服务器端的file也会自动恢复。

    1. 这样做的前提是,必须知道丢失的文件名,否则无法恢复。

    2. 未恢复前,客户端对file进行touch、写等操作都能正常进行,当执行一次后,服务端文件会自动恢复,前提还是必须知道文件名。

  2. 服务器端之利用用cp机制恢复。

  3. 客户端重新挂载法修复(有时重新挂载可以修复,需要考虑最坏情况)。


出现暗文件是非常糟糕的事情,在线上很难确定哪些副本丢失,重新挂载基本也是不予许的,所以要尽量避免此类情况出现。


本文出自 “敏而好学” 博客,请务必保留此出处http://dangzhiqiang.blog.51cto.com/7961271/1774821

以上是关于GlusterFS复制卷修复功能测试分析--brick文件丢失的主要内容,如果未能解决你的问题,请参考以下文章

详解 GFS分布式文件系统 (条带卷/复制卷/分布式条带卷/分布式复制卷)

38掌握分布式存储系统 GlusterFS 的基本用法,包括卷管理数据复制

GlusterFS分布式文件系统概述

GlusterFS学习2

glusterfs 的存储卷类型

分布式文件系统--GlusterFS