linux文件系统中的“锁”

Posted 2021-06-14 一口Linux

在多进程共享的应用程序中，通过“锁”来对同一个计算资源进行协同是非常常见的做法，无论在单机或多机的系统、数据库、文件系统中，都需要依赖“锁”机制来避免并发访问导致的不确定结果，今天我们就来讲讲文件系统中的“锁”。

首先，文件锁也是一种互斥机制，可确保多个进程以安全的方式读取/写入同一个文件。之所以要对这些多进程业务进行控制，就是因为这些进程的调度是不可预期的，这种时序上的不可预期会对同一个文件资源产生竞争性访问，从而带来预期外的结果。

我们可以看一个例子，以便更好地理解这个问题。

假设我们有一个 account.dat 文件，用于存储帐户余额，其初始值为“200”。并发系统有两个进程来更新这个文件上的余额值：

1. 进程 A：读取当前值，减去 20，然后将结果保存回文件中。
2. 进程 B：读取当前值，加 80，然后将结果写回到文件中。

显然，在顺序执行完这两个进程后，我们期望文件具有以下值：200-20 + 80 = 260。

但是，如果进程的执行不是按预期的顺序直径，在以下这种情况下，可能会出现不一样的结果：

1. 进程 A 读取文件的当前值（200），并准备进行进一步的计算。
2. 这时，进程 B 读取相同的文件并获得当前余额（200）。
3. 进程 A 计算 200-20 并将结果 180 保存回文件。
4. 进程 B 不知道余额已更新。因此，它仍将使用过时的值 200 计算 200 + 80，并将结果 280 写入文件。

结果，account.dat 文件中保存的余额就是 280 而不是预期值 260。

Linux 中的文件锁

像前面提到的，文件锁是一种在多个进程之间限制文件并发访问的机制。它仅允许一个进程在特定时间内访问文件，从而避免更新问题。

我们都知道 rm -rf /在 Linux 中是非常危险的命令。如果我们以 root 用户身份执行该命令，它甚至可以删除正在运行的系统中的所有文件。这是因为 Linux 通常不会自动给打开的文件加锁，所以即使是正在运行的文件，仍然有可能被 rm 命令删除。Linux 支持两种文件锁：协同锁（Advisory lock）和强制锁（Mandatory lock）。

协同锁（Advisory lock）

协同锁定不是强制性锁方案，仅当参与的进程通过显式获取锁进行协作时，它才有效。否则，如果某个进程根本不知道锁，则这个协同锁会被忽略掉（意味着各个进程间必须协商并遵守这个协同锁的机制，才能发挥锁的作用）。

下面这个例子可以帮助我们更容易地理解协同锁机制。让我们先回顾一下我们之前提到的账户文件的例子。

首先，我们假设文件 account.dat 仍包含初始值 “200”。

进程 A 获取 account.dat 文件的排他锁，然后打开并读取该文件以获取当前值：200。

我们必须了解，协同锁不是由操作系统或文件系统设置的。因此，即使进程 A 锁定了文件，进程 B 仍然可以通过系统调用自由读取、写入或删除文件。

如果进程 B 不尝试在获取锁的情况下，就执行文件操作，则可以说进程 B 与进程 A 没有使用协同锁机制进行合作，仍然会带来不可预期的结果。

现在，让我们看一下锁如何在协作流程中发挥作用：

1. 进程 B 尝试在读取文件之前（与进程 A 协作）获得对 account.dat 文件的锁。
2. 由于进程 A 已获得文件锁，因此进程 B 必须等待进程 A 释放锁。
3. 进程 A 计算 100-20 并将 80 写回到文件中。
4. 进程 A 释放锁。
5. 进程 B 现在获取一个锁并读取文件，并获取更新的值：180。
6. 进程 B 开始其逻辑，并将结果 260（180 + 80）写回到文件中。
7. 进程 B 释放锁，以便其他协作进程可以继续读写该文件。

强制锁（Mandatory Lock）

与协作锁不同，强制锁不需要参与进程之间的任何合作。一旦在文件上激活了强制锁，操作系统便会阻止其他进程读取或写入文件。

要在 Linux 中启用强制性文件锁定，必须满足两个要求：

1. 我们必须使用 mand 选项挂载文件系统（挂载-o mand FILESYSTEM MOUNT_POINT）。
2. 我们必须为要锁定的文件（chmod g + s，g-x FILE）打开 set-group-ID 位，并关闭组执行位。

使用强制锁之后，这个锁会在操作系统级别进行管理和控制。

 

检查系统中的所有锁

slocks 命令

lslocks 命令是 util-linux 软件包的一个组件，在所有 Linux 发行版中都可用，通过这个命令可以列出系统中所有当前持有的文件锁。

在以下列表中，我们可以看到系统中所有当前锁定的文件，还可以看到每个锁的详细信息，例如锁的类型以及哪个进程持有该锁。

 

/ proc /locks

/ proc / locks 不是命令，它是 procfs 虚拟文件系统中的文件。该文件包含所有当前文件锁，lslocks 命令也依赖于此文件来生成列表。

要获取 / proc / locks 的信息，我们执行“ cat / proc / locks”：

 

我们从第一行开始，了解/ proc / locks 文件系统中锁信息的组织方式：

 

1. 第一列是序列号。
2. 第二个字段指示使用的锁类别，例如 FLOCK（来自 flock 系统调用）或 POSIX（来自 lockf，fcntl 系统调用）。
3. 此列用于说明锁类型。它可以有两个值：ADVISORY 或 MANDATORY。
4. 第四个字段显示该锁是 WRITE 还是 READ 锁。
5. 第五个字段是锁的进程 ID。
6. 该字段包含一个冒号分隔的字符串，以“ major-device：minor-device：inode”的格式显示锁定文件的 ID。
7. 此列以及最后一列显示了被锁定文件的锁定区域的开始和结束。在此示例行中，整个文件被锁定（0-EOF）。

由于分布式文件系统主要用于多个客户端中共享文件，客户端的应用程序并发访问文件是很常见的操作，在实际应用中，渲染、HPC 等业务都需要使用到文件锁，锁的支持对分布式文件系统而言至关重要。YRCloudFile 支持 POSIX 语义中的协同锁和共享锁，用户可以通过 flock 或 fcntl 等系统调用来对文件进行锁操作，锁的粒度可以支持到文件级别或文件内的指定区间。