LINUX文件系统及日志分析

Posted 2021-12-03 最强飞雷神水门

LINUX文件系统及日志分析

一、inode和block概述

文件数据包括元信息与实际数据
文件存储在硬盘上，硬盘最小存储单位是“扇区”，每个
扇区存储512字节

1、block (块)

连续的八个扇区组成一个block(4K)
是文件存取的最小单位
元信息——————inode
数据———————block

2、inode (索引节点)

中文译名为“索引节点”，也叫i节点
用于存储文件元信息
文件是存储在硬盘上的，硬盘的最小存储单位叫做“扇区"(sector)，每个扇区存储512字节。
一般连续八个扇区组成一个"块"(block)，一a个块是4K大小，是文件存取的最小单位。操作系统读取硬盘的时候，是一次性连续读取多个扇区，即一个块一个块的读取的。
文件数据包括实际数据与元信息(类似文件属性)。文件数据存储在“块"中，存储文件元信息(比如文件的创建者、创建日期、文件大小、文件权限等)的区域就叫做inode。 因此，一个文件必须占用一个inode， 并且至少占用一个block。
inode不包含文件名。文件名是存放在目录当中的。Linux 系统中一切皆文件，因此目录也是一种文件。
每个inode都有一个号码，操作系统用inode号码来识别不同的文件。Linux系统内部不使用文件名，而使用inode号码来识别文件。对于系统来说，文件名只是inode号码便于识别的别称，文件名和inode号码是一一对应关系，每个inode号码对应一个文件名。
所以，当用户在Linux系统中试图访问一个文件时，系统会先根据文件名去查找它对应的inode号码;通过inode号码，获取inode信息; 根据inode信息，看该用户是否具有访问这个文件的权限:如果有，就指向相对应的数据block，并读取数据。
查看文件名对应的inode号码有两种方式:
ls-i 文件名
stat 文件名
stat testfile 输入命令
File:、 testfile’
Size: 102 Blocks: 8 I0 Block: 4096 regular file
Device: 807h/2055d Inode: 1265161 Links: 1
Access: (0644/-rw-r–r–) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2014-08-13 14:07:20. 000000000 +0800
Modify: 2014-08-13 14:07: 07.000000000 +0800
Change: 2014-08-13 14:07 :07.000000000 +0800 ，

该图是用ls -i这个命令来来查看inode号。

该图是用stat这个命令来查看文件的inode号。

该图是ls -l命令，其用来查看文件的名称。
atime (accesstime) :
当使用这个文件的时候就会更新这个时间。

该图就是atime实验的展示，图中我对该文件进行使用，该文件的时间就会进行更新，如图所示，图一以及图二的访问时间有所变化。
mtime (modification time) :
当修改文件的内容数据的时候，就会更新这个时间，而更改权限或者属性，mtime不会改变，这就是和ctime的区别。

如图所示就是mtime实验的内容，在图中我使用echo对这个文件内容进行了修改，其时间就会发生改变，如图最近更改，以及最近改动都发生了变化。
ctime (status time):
当修改文件的权限或者属性的时候，就会更新这个时间，ctime并不是createtime，更像是changetime,
只有当更新文件的属性或者权限的时候才会更新这个时间，但是更改内容的话是不会更新这个时间。

该图是ctime实验的展示，如图我对这个文件的权限进行了修改，其时间就会发生改变，如图最近改动这一栏发生了改变。
inode也会消耗硬盘空间，所以格式化的时候，操作系统自动将硬盘分成两个区域。一个是数据区，存放文件数据;另一个是inode区，存放inode 所包含的信息。每个inode 的大小，一般是128字节或256字节。
通常情况下不需要关注单个inode的大小，而是需要重点关注inode 总数。inode 的总数在格式化时就给定了，执行“df -i"
命令即可查看每个硬盘分区对应的的inode总数和已经使用的inode数量。

该图是使用了df -i这个命令，来查看inode号的使用情况。
由于inode 号码与文件名分离，导致Linux系统具备以下几种特有的现象:
1.文件名包含特殊字符，可能无法正常删除。这时直接删除inode，能够起到删除文件的作用:
2.移动文件或重命名文件，只是改变文件名，不影响inode 号码;

在图中我创建了一个以abc.txt命名的文件，然后我把这个文件移动，并且给他进行了重命名为123.txt但是其inode号并未发生改变。
3.打开一个文件以后，系统就以inode 号码来识别这个文件，不再考虑文件名。
4.使用vi编辑器修改文件数据保存后，会生成一个新的inode 号码。

在图中我使用了vim编辑器对123.txt这个文件进行了修改，然后用ll -i这个命令来进行查看，发现它的inode号已经发生了改变。
删除文件方法：
find ./ -inum 52305140 -exec rm -i {} ;
find ./ -inum 50464299 -delete

该图就是使用find命令加上inode号来对文件进行删除的两种方法。

3、inode的内容

inode包含文件的元信息
不包含文件名
文件的字节数
文件拥有者的User ID
文件的Group ID
文件的读、写、执行权限
文件的时间戳
…
用stat命令可以查看某个文件的inode信息
示例: stat aa.txt
inode的内容

二、目录文件的结构

文件名1 ——————inode号码1
文件名2 ————————inode号码2
每一行称为一个目录项
目录也是一种文件目录文件的结构
每个inode都有一个号码，操作系统用inode号码来识
别不同的文件
Linux系统内部不使用文件名，而使用inode号码来识
别文件
对于用户，文件名只是inode号码便于识别的别称

1、inode的号码

用户通过文件名打开文件时，系统内部的过程
1.系统找到这 个文件名对应的inode号码
2.通过inode号码， 获取inode信息
3.
根据inode信息，找到文件数据所在的block,读出数据
查看inode号码的方法
ls -i命令:查看文件名对应的inode号码
Is -i aa.txt
stat命令:查看文件inode信息中的inode号码
stat aa.txt

2、硬盘的分区后的结构

文件名————目录项————目录块
元信息————inode————inode表区块
数据—————block—————block数据区
block：八个扇区组成

3、inode的大小

inode也会消耗硬盘空间
每个inode的大小
一般是128字节或256宁节
格式化文件系统时确定inode的总数
使用df -i命令可以查看每个硬盘分区的inode总数和已
经使用的数量

4、链接文件

为文件或目录建立链接文件
链接文件分类

	软链接	硬链接
删除原始文件	失效	仍旧可用
使用范围	适用于文件或目录	只可用于文件
保存位置	与原始文件可以位于不同的文件系统中	必须与原始文件在同一个文件系统内

链接文件
为文件或目录建立链接文件
链接文件分类
硬链接
In 源文件目标位置
软链接
In -s 源文件或目录…链接文件或目标位置

5、inode节点耗尽故障处理

使用fdisk创建分区/dev/sdb1，分区大小30M即可
fdisk /dev/ sdb
mkfs.ext4 /dev/sdb1
mkdir / test
mount /dev/sdb1 /创建的文件
df -i
模拟inode节点耗尽故障
for ((i=1; i<=7680; i++)) ;do touch /test/ file$i ; done
touch {1. . 7680} . txt
df -i
df -hT

删除文件恢复
rm -rf /test/*
df -i
df -hT

我们首先用fdisk -l这个命令，来对磁盘进行一个查看。

然后我们对磁盘进行分区的操作。

然后我们以ext4文件类型使用mkfs命令来进行格式化。

图中我进行挂载，并且挂载到data目录中。

然后我们使用for这个命令来模拟将inode号占满的情况，该图中就是data这个目录的inode号。

如图就是data这个目录inode号被占满的情况，如图显示，已经100%进行了使用。

如图就是inode号被占满，由于没有了空间我们无法进行创建文件的操作。

我们使用rm -rf*来进行删除后，便可以进行创建文件的操作。

三、EXT类型文件恢复

extundelete是一个开源的Linux 数据恢复工具，支持ext3、 ext4文件 系统。(ext4 只能在centos6版本恢复)
使用fdisk创建分区/dev/sdc1,格式化ext3文件系统
fdisk /dev/sdc
partprobe /dev/sdc
mkfs.ext3 /dev/ sdc1
mkdir /test
mount /dev/sdc1 /test
df -hT
安装依赖包
yum -y install e2fsprogs-devel e2fsprogs-libs
编译安装extundelete
cd /test
wget http: //nchc .dl.sourceforge. net/project/ extundelete/extundelete/0.2.4/extundelete-0.2.4. tar .bz2
tar jxvf extundelete-0.2.4. tar.bz2
cd extundelete-0.2.4/
. /configure --prefix=/usr/local /extundelete && make && make install
ln -s / usr /local/extundelete/bin/ * /usr/bin/
模拟删除并执行恢复操作
cd /test
echo a>a
echo a>b
echo a>C
echo a>d
ls
extundelete /dev/sdc1 – inode 2
查看文件系统/dev/sdc1下存在哪些文件，i节点是从2开始的，2代表该文件系统最开始的目录。
rm-rf a b
extundelete /dev/sdc1 --inode 2
umount /test
cd ~
umount / test
extundelete /dev/sdc1 --restore-all
恢复/dev/sdc1文件系统下的所有内容
在当前目录下会出现一 个RECOVERED FILES/目录， 里面保存了已经恢复的文件
ls RECOVERED FILES/

该图我们依旧是对磁盘进行一个创建分区的操作。

然后我们进行格式化，以ext3文件名来进行格式化。

然后便是进行挂载的操作，图中我创建了一个新的目录，名字为data1。

然后我们对extundelete这个软件包进行编译安装。

然后我们进行安装依赖包的操作。

该图是对extundlete这个软件包进行解压的过程，我们可以使用tar命令来加上jxvf选项来进行解压。

该图中我们是写入一些内容到这几个文件当中。

该图我们是进行了模拟删除的操作，如图要删除a和b这两个。

如图所示，已经进行了删除的操作，a，b已经删除完毕。

图中是我们进行解挂载的操作，然后我们在进行恢复数据的操作。
案例:恢复XFS类型的文件
xfsdump命令格式
xfsdump -f 备份存放位置要备份的路径或设备文件
xfsdump备份级别(默认为0)
0: 完全备份
1-9: 增量备份
xfsdump常用选项: -f、 -L、 -M、-s
xfsrestore命令格式
xfsrestore -f 恢复文件的位置存放恢复后文件的位置
模拟删除并执行恢复操作

四、xfs类型文件备份和恢复

CentOS 7系统默认采用xfs类型的文件，xfs类型的文件可使用xfsdump 与xfsrestore 工具进行备份恢复。
xfsdump的备份级别有两种: 0表示完全备份; 1-9表示增量备份。xfsdump的备份级别默认为0。
xfsdump的命令格式为:
xfsdump -f 备份存放位置 要备份的路径或设备文件
xfsdump命令常用的选项:
-f: 指定备份文件目录
-L: 指定标签session label
-M: 指定设备标签media label
-s: 备份单个文件，-s后面不能直接跟路径
xf sdump使用限制:
1.只能备份已挂载的文件系统
2.必须使用root的权限才能操作
3.只能备份XFS文件系统
4.备份后的数据只能让xfsrestore解析
5.不能备份两个具有相同UUID的文件系统(可用blkid命令 查看)
使用fdisk创建分区/dev/sdb1,格式化xfs文件系统
fdisk /dev/ sdb
partprobe /dev/sdb
mkfs.xfs [-f] /dev/ sdb1
mkdir /data .
mount /dev/sdb1 /data/
cd /data
cp /etc/passwd ./
mkdir test
touch test/a
使用xfsdump 命令备份整个分区
rpm -qa| grep xfsdump
yum install -y xfsdump
xfsdump -f /opt/dump sdb1 /dev/sdb1 [-L dump sdb1 -M sdb1]
模拟数据丢失并使用xfsrestore 命令恢复文件
cd /data/
rm -rf ./*
ls
xfsrestore -f /opt/dump_ sdb1 /data/

图中我们依旧是对磁盘进行创建分区的操作。

该图我们已xfs文件类型来进行格式化。

然后我们进行挂载的操作。
然后我们进行复制一些文件以及目录到我们创建的data2目录当中，我这里复制的是两个文件。==

我们使用xfsdump这个命令来对整个分区进行备份的操作。

图中我们来进行模拟数据的丢失，我们使用rm -rf *来将data2里面的内容都删除。

我们使用xfsrestore这个命令来对我们删除的文件进行一个恢复。

如图所示，丢失的文件以及完成了恢复。

五、日志文件

1、日志的功能;

用于记录系统、程序运行中发生的各种事件
通过阅读日志，有助于诊断和解决系统故障

2、日志文件的分类

内核及系统日志
由系统服务rsyslog统一进行管理， 日志格式基本相似
主配置文件/etc/rsyslog.conf
用户日志.
记录系统用户登录及退出系统的相关信息
程序日志
由各种应用程序独立管理的日志文件，记录格式不统一

3、日志保存位置

默认位于: Ivar/log目录下

4、主要日志文件介绍

内核及公共消息日志
/var/log/messages
计划任务日志
Ivar/log/cron
系统引导日志
/var/log/dmesg
邮件系统日志

该图是linux常用的两种邮件的安装包。
/var/log/maillog
用户登录日志
Ivarlog/lastlog
/var/log/secure
/var/log/wtmp
/var/run/btmp
常见的一些 日志文件:
内核及公共消息日志:
/var/log/messages:记录Linux内 核消息及各种应用程序的公共日志信息，包括启动、I0错误、网络错误、程序故障等。对于未使用独立日志文件的应用程序或服务，一般都可以从该日志文件中获得相关的事件记录信息。
计划任务日志:
/var/log/cron: 记录crond计划任务产生的事件信息。
系统引导日志:
/var/log/dmesg:记录Linux系统在引导过程中的各种事件信息。
邮件系统日志:
/var/log/maillog: 记录进入或发出系统的电子邮件活动。
用户登录日志:
/var/log/secure: 记录用户认证相关的安全事件信息。
/var/log/lastlog: 记录每个用户最近的登录事件。二进制格式。
/var/log/wtmp:记录每个用户登录、注销及系统启动和停机事件。 二进制格式
/var/run/btmp:记录失败的、错误的登录尝试及验证事件。二进制格式

六、内核及系统日志

1、由系统服务rsyslog统一管理
软件包: rsys1og-7 .4.7-16.el7.x86_ 64
主要程序: /sbin/rsyslogd
配置文件: /etc/rsyslog.conf
vim /etc/ rsyslog. conf
查看rsyslog . conf配置文件，规则配置格式: [ 设备.级别
动作]
. info;mail . none; authpriv . none; cron . none
/var/ 1og/messages
. info 表示info等级及以.上的所有等级的信息都写到对应的日志文件里
mail. none 表示某事件的信息不写到日志文件里( 这里比如是邮件)
2、设备字段说明:
auth 用户认证时产生的日志
authpriv ssh、ftp等登录信息的验证信息
daemon 一些守护进程产生的日志
ftp FTP产生的日志
lpr 打印相关活动
mark rsyslog服务内部的信息，时间标识;
news 网络新闻传输协议(nntp)产生的消息。
syslog 系统日志
uucp Unix- -to-Unix Copy两个unix之间的相关通信
console 针对系统控制台的消息。
cron 执行定时任务产生的日志。
kern 系统内核日志
local0~loca17 自定义程序使用
mail 邮件日志
user 用户进程
Linux系统内核日志消息的优先级别( 数字等级越小，优先级越高，消息越重要) :
0 EMERG(紧急):会导致主机系统不可用的情况。如系统崩溃
1 ALERT(警告):必须马上采取措施解决的问题。如数据库被破坏
2 CRIT(严重):比较严重的情况。如硬盘错误，可能会阻碍程序的部分功能
3 ERR (错误) :运行出现错误。不是非常紧急，尽快修复的
4 WARNING (提醒) :可能影响系统功能，需要提醒用户的重要事件。不是错误，如磁盘用了85号等
5 NOTICE (注意) :不会影响正常功能，但是需要注意的事件。无需处理
6 INFO(信息):一般信息。正常的系统信息
7 DEBUG(调试):程序或系统调试信息等。包含详细开发的信息，调试程序时使用
none: 没有优先级，不记录任何日志消息。
举例:
mail. info /var/log/maillog :比指定级别更高的日志级别，包括指定级别自身，保存到/var/1og/maillog中
mail.=info /var/log/maillog :明确指定日志级别为info，保存至/var/ log/maillog
mail. !info /var/log/maillog :除了指定的日志级别(info)所有日志级别信息，保存至/var/log/maillog
. info /var/1og/maillog :所有facility的info级别，保存至/var/1og/maillog
mail. /var/1og/maillog : mai1的所有日志级别信息，都保存至/var/1og/maillog
mail. notice; news.info /var/log/maillog : mail的notice以 上记得日志级别和news的info以上的级别保存至/var/log/maillog
mail, news.crit -/var/log/maillog : mail和news的crit以上的日志级别保存/var/1og/maillog中: “-"代表异步模式
Jun 3 13:26:35:时间标签
localhost vmusr[2439]: [critical] [GL ib-GObject]

七、程序日志分析

由相应的应用程序独立进行管理
Web服务: /var/log/httpd/
accesslog //记录客户访问事件
error log //记录错误事件
代理服务: /var/log/squid/
access.log、cache.log
分析工具
文本查看、grep过滤检索、Webmin管理套件中查看
awk、sed等文本过滤、格式化编辑工具
Webalizer、Awstats等专用 日志分析工具

八、日志管理策略

及时作好备份和归档 ：命令/脚本/+crontab/
延长日志保存期限
控制日志访问权限
日志中可能会包含各类敏感信息，如账户、口令等
集中管理日志
将服务器的日志文件发到统一的日志文件服务器
便于日志信息的统一收集、整理和分析
杜绝日志信息的意外丢失、恶意篡改或删除

九、配置日志服务器收集日志

rsyslog是一个C/S架构，可以通过套接字来进行监听记录工作，可以基于TCP和UDP工作，默认的监听端口是514，只需要在MODULES打开即可。
发送服务器: 客户端192. 168.80.20
收集服务器: 服务端192. 168.80.30
//关闭服务端和客户端防火墙、selinux
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
//修改客户端配置文件，并启动服务
vim /etc/rsyslog. conf
MODULES
将下面四行前的注释取消掉
ModLoadimudpModLoad imudp
ModLoadimudpUDPServerRun 514
ModLoadimtcpModLoad imtcp
ModLoadimtcp InputTCPServerRun 514
RULES
添加下列内容
template myFormat, "&timestamp% %hostname% syslogseverity-text% %syslogtag% %msg号\\n"
ActionFileDefaultTemplate myFormat
*. info;mail . none; authpriv . none; cron. nonebr/>@@192.168.80.30:514
timestamp%: 时间戳
%fromhost-ip%:接收的信息来自于哪个节点的IP
%hostname% :主机名
%syslogseverity-text%:日志等级
%syslogtag% :服务进程br/>%msg%:日志内容
接收方IP前面一个@表示TCP传输，两个@表示UDP传输
systemctl restart rsyslog
//修改服务端配置文件，并启动服务
vim /etc/ rsyslog. conf
#将下面四行前的注释取消掉
ModLoadimudpModLoad imudp
ModLoadimudpUDPServerRun 514
ModLoadimtcpModLoad imtcp
ModLoadimtcp InputTCPServerRun 514
#添加以下内容
AllowedSendertcp,192.168.80.0/24允许192.168.80.0网段内的主机以tcp协议来传输AllowedSender tcp, 192.168.80.0/24
允许192. 168.80.0网段内的主机以tcp协议来传输
AllowedSendertcp,192.168.80.0/24允许192.168.80.0网段内的主机以tcp协议来传输template Remote, “/data/log/ %fromhost- ip%/fromhost-ip%_ %YEARYEAR%- %YEARMONTH%-%$DAY%. log”
定义模板，接受日志文件路径，区分了不同主机的日志
: fromhost-ip， ! isequal, “127.0.0.1” ?Remote
过滤掉server 本机的日志
systemctl restart rsyslog
//在服务端创建/data/log目录，以接受大量日志信息，配置文件中的路径应当与该路径一致
mkdir -p /data/log
//验证
#客户端的终端命令行输入或者重启-一个服务.
logger “hello world”
#在服务端查看日志文件
tree /data/log/

十、journalctl 日志管理工具

日志管理工具journalctl是centos7上专有的日志管理工具，该工具是从message这 个文件里读取信息。
Systemd统一管 理所有Unit的启动日志。带来的好处就是，可以只用journalctl一个命令，查看所有日志(内核日志和应用日志)。
日志的配置文件是/etc/ systemd/ journald. conf
查看所有日志(默认情况下，只保存本次启动的日志)
journalctl
journalctl -r -r表示倒序，从尾部看(推荐)
查看内核日志(不显示应用日志)
journalctl -k
查看系统本次启动的日志
journalctl -b [-0]
查看上一次启动的日志( 需更改设置,如上次系统崩溃，需要查看日志时，就要看上一次的启动日志)
journalctl -b -1
显示尾部指定行数的日志查看的是/var/1og/messages的日志，但是格式上有所调整，如主机名格式不一样而已journalctl -n 20 [-f]
查看某个服务的日志
journalctl -u nginx.service [-f]
查看指定进程的日志
journalctl_PID=1
查看指定用户的日志
journalctl_UID=0 --since today
journalctl -xe
-x是目录(catalog)的意思，在报错的信息下会，附加解决问题的网址

-e pager-end 从末尾开始看