linux 磁盘空间被占满但找不到目标文件的问题处理 lsof命令

Posted 2021-01-31 xl999

lsof简介

在终端下输入lsof即可显示系统打开的文件，因为 lsof 需要访问核心内存和各种文件，所以必须以 root 用户的身份运行它才能够充分地发挥其功能。

直接输入lsof部分输出为:

 

每行显示一个打开的文件，若不指定条件默认将显示所有进程打开的所有文件。

lsof输出各列信息的意义如下：

　　COMMAND：进程的名称

　　PID： 进程标识符

　　USER：进程所有者

　　FD： 文件描述符，应用程序通过文件描述符识别该文件。如cwd、txt等 TYPE：文件类型，如DIR、REG等

　　DEVICE：指定磁盘的名称

　　SIZE：文件的大小

　　NODE：索引节点（文件在磁盘上的标识）

　　NAME：打开文件的确切名称

FD 列中的文件描述符cwd 值表示应用程序的当前工作目录，这是该应用程序启动的目录，除非它本身对这个目录进行更改,txt 类型的文件是程序代码，如应用程序二进制文件本身或共享库，如上列表中显示的 /sbin/init 程序。

其次数值表示应用程序的文件描述符，这是打开该文件时返回的一个整数。初始打开每个应用程序时，都具有三个文件描述符，从 0 到 2，分别表示标准输入、输出和错误流。

与 FD 列相比，Type 列则比较直观。文件和目录分别称为 REG 和 DIR。而CHR 和 BLK，分别表示字符和块设备；或者 UNIX、FIFO 和 IPv4，分别表示 UNIX 域套接字、先进先出 (FIFO) 队列和网际协议 (IP) 套接字。

 

lsof使用实例

(1) 查找谁在使用文件系统

在卸载文件系统时，如果该文件系统中有任何打开的文件，操作通常将会失败。那么通过lsof可以找出那些进程在使用当前要卸载的文件系统，如下：
# lsof /GTES11

COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME 
bash 4208 root cwd DIR 3,1 4096 2 /GTES11/ 
vim 4230 root cwd DIR 3,1 4096 2 /GTES11/
在这个示例中，用户root正在其/GTES11目录中进行一些操作。一个 bash是实例正在运行，并且它当前的目录为/GTES11，另一个则显示的是vim正在编辑/GTES11下的文件。要成功地卸载/GTES11，应该在通知用户以确保情况正常之后，中止这些进程。 这个示例说明了应用程序的当前工作目录非常重要，因为它仍保持着文件资源，并且可以防止文件系统被卸载。这就是为什么大部分守护进程（后台进程）将它们的目录更改为根目录、或服务特定的目录（如 sendmail 示例中的 /var/spool/mqueue）的原因，以避免该守护进程阻止卸载不相关的文件系统。

 

(2) 恢复删除的文件

当Linux计算机受到入侵时，常见的情况是日志文件被删除，以掩盖攻击者的踪迹。管理错误也可能导致意外删除重要的文件，比如在清理旧日志时，意外地删除了数据库的活动事务日志。有时可以通过lsof来恢复这些文件。

当进程打开了某个文件时，只要该进程保持打开该文件，即使将其删除，它依然存在于磁盘中。这意味着，进程并不知道文件已经被删除，它仍然可以向打开该文件时提供给它的文件描述符进行读取和写入。除了该进程之外，这个文件是不可见的，因为已经删除了其相应的目录索引节点。

在/proc 目录下，其中包含了反映内核和进程树的各种文件。/proc目录挂载的是在内存中所映射的一块区域，所以这些文件和目录并不存在于磁盘中，因此当我们对这些文件进行读取和写入时，实际上是在从内存中获取相关信息。大多数与 lsof 相关的信息都存储于以进程的 PID 命名的目录中，即 /proc/1234 中包含的是 PID 为 1234 的进程的信息。每个进程目录中存在着各种文件，它们可以使得应用程序简单地了解进程的内存空间、文件描述符列表、指向磁盘上的文件的符号链接和其他系统信息。lsof 程序使用该信息和其他关于内核内部状态的信息来产生其输出。所以lsof 可以显示进程的文件描述符和相关的文件名等信息。也就是我们通过访问进程的文件描述符可以找到该文件的相关信息。

当系统中的某个文件被意外地删除了，只要这个时候系统中还有进程正在访问该文件，那么我们就可以通过lsof从/proc目录下恢复该文件的内容。

假如由于误操作将/var/log/messages文件删除掉了，那么这时要将/var/log/messages文件恢复的方法如下：

首先使用lsof来查看当前是否有进程打开/var/logmessages文件，如下：
# lsof |grep /var/log/messages 

syslogd 1283 root 2w REG 3,3 5381017 1773647 /var/log/messages (deleted)

从上面的信息可以看到 PID 1283（syslogd）打开文件的文件描述符为 2。同时还可以看到/var/log/messages已经标记被删除了。因此我们可以在 /proc/1283/fd/2 （fd下的每个以数字命名的文件表示进程对应的文件描述符）中查看相应的信息，如下：

# head -n 10 /proc/1283/fd/2 

Aug 4 13:50:15 holmes86 syslogd 1.4.1: restart. 
Aug 4 13:50:15 holmes86 kernel: klogd 1.4.1, log source = /proc/kmsg started. 
Aug 4 13:50:15 holmes86 kernel: Linux version 2.6.22.1-8 ([email protected]) (gcc version 4.2.0) #1 SMP Wed Jul 18 11:18:32 EDT 2007 Aug 4 13:50:15 holmes86 kernel: Bios-provided physical RAM map: Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000000000 - 000000000009f000 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000000009f000 - 00000000000a0000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 0000000000100000 - 000000001f7d3800 (usable) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 000000001f7d3800 - 0000000020000000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000e0000000 - 00000000f0007000 (reserved) Aug 4 13:50:15 holmes86 kernel: BIOS-e820: 00000000f0008000 - 00000000f000c000 (reserved)
从上面的信息可以看出，查看 /proc/8663/fd/2 就可以得到所要恢复的数据。如果可以通过文件描述符查看相应的数据，那么就可以使用 I/O 重定向将其复制到文件中，如:
# cat /proc/1283/fd/2 > /var/log/messages
对于许多应用程序，尤其是日志文件和数据库，这种恢复删除文件的方法非常有用。

 

(3) 磁盘空间被占满，文件已经删除，但是空间未被释放的问题

磁盘空间已满，但是找不到占空间的文件。空间没释放 或者说 inode 用完，用以下命令查看

# df -Th

Filesystem                      Type   Size  Used Avail Use% Mounted on

/dev/mapper/vg_mysql120-lv_root ext4    50G   45G  1.8G  97% /

tmpfs                           tmpfs   32G     0   32G   0% /dev/shm

/dev/sda1                       ext4   485M   32M  428M   7% /boot

/dev/mapper/vg_mysql120-lv_home ext4   468G   78G  367G  18% /home

# df -i

Filesystem                        Inodes IUsed    IFree IUse% Mounted on

/dev/mapper/vg_mysql120-lv_root  3276800 32722  3244078    1% /

tmpfs                            8224606     1  8224605    1% /dev/shm

/dev/sda1                         128016    38   127978    1% /boot

/dev/mapper/vg_mysql120-lv_home 31129600 19867 31109733    1% /home

注：在生产环境常见的问题就是，有维护人员或者开发同事使用tail命令实时查看日志。然后另外的人使用rm命令删除，这有就好导致磁盘空间不会真正的释放，因为你要删除的文件，还有进程在使用，文件句柄没有释放，即tail

文件句柄以及空间释放问题

# lsof |grep deleted             --查看

如果你知道文件名，那就可以直接使用如下命令

# lsof |grep  testfile

但是如果你不知道是哪个文件，或者是很多文件都有这样的情况，那你需要使用如下命令

注：这个deleted表示该已经删除了的文件，但是文件句柄未释放,这个命令会把所有的未释放文件句柄的进程列出来

遇到这类问题，重启被删除文件的服务即可。

 

(4) 实用命令

lsof `which httpd`   --那个进程在使用apache的可执行文件

lsof /etc/passwd     --那个进程在占用/etc/passwd

lsof /dev/cdrom      --那个进程在占用光驱

lsof -p 30297        --显示那些文件被pid为30297的进程打开

lsof -u1000          --查看uid是100的用户的进程的文件使用情况

lsof -utony          --查看用户tony的进程的文件使用情况

lsof -u^tony         --查看不是用户tony的进程的文件使用情况(^是取反的意思)

lsof -i              --显示所有打开的端口

lsof -i:80           --显示所有打开80端口的进程

 

使用-i显示所有连接

有些人喜欢用netstat来获取网络连接，但是我更喜欢使用lsof来进行此项工作。结果以对我来说很直观的方式呈现，我仅仅只需改变我的语法，就可以通过同样的命令来获取更多信息。

# lsof -i

COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME

dhcpcd 6061 root 4u IPv4 4510 UDP *:bootpc

sshd   7703 root 3u IPv6 6499 TCP *:ssh (LISTEN)

sshd   7892 root 3u IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)

 

使用-i 6仅获取IPv6流量

# lsof -i 6

 

仅显示TCP连接（同理可获得UDP连接）

你也可以通过在-i后提供对应的协议来仅仅显示TCP或者UDP连接信息。

# lsof -iTCP

COMMAND  PID  USER   FD   TYPE DEVICE SIZE NODE NAME

sshd     7703 root  3u    IPv6 6499 TCP *:ssh (LISTEN)

sshd     7892 root  3u    IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)

 

使用-i:port来显示与指定端口相关的网络信息

或者，你也可以通过端口搜索，这对于要找出什么阻止了另外一个应用绑定到指定端口实在是太棒了。

# lsof -i:22

COMMAND  PID USER   FD   TYPE DEVICE SIZE NODE NAME

sshd 7703 root 3u  IPv6 6499 TCP *:ssh (LISTEN)

sshd 7892 root 3u  IPv6 6757 TCP 10.10.1.5:ssh->192.168.1.5:49901 (ESTABLISHED)

 

找出监听端口

找出正等候连接的端口。

# lsof -i -sTCP:LISTEN

你也可以grep “LISTEN”来完成该任务。

# lsof -i | grep -i LISTEN

iTunes     400 daniel   16u  IPv4 0x4575228  0t0 TCP *:daap (LISTEN)

找出已建立的连接

你也可以显示任何已经连接的连接。

# lsof -i -sTCP:ESTABLISHED

你也可以通过grep搜索“ESTABLISHED”来完成该任务。

# lsof -i | grep -i ESTABLISHED

firefox-b 169 daniel  49u IPv4 0t0 TCP 1.2.3.3:1863->1.2.3.4:http (ESTABLISHED)