Note4Linux环境，Linux命令，vi命令，正则，Hash，iNode，文件查找与读取，Linux开机自启动，Linux系统启动过程

Posted 2022-11-07 码农编程录

文章目录

• 1.VMware和CentOS安装：两个网络适配器是虚拟机的，Linux抄袭unix，Mac os是unix的皮肤
• 2.CRT安装：netstat -nal | grep 22，改注册信息要打开CRT客户端在最上端Help栏中Enter License Data
• 3.CRT配置：SSH2。Hostname：192....。Port：22。Username：root
• 4.Linux命令：linux组成：内核（就是操作系统，和硬件打交道，驱动）。shell（和用户打交道，用户指令翻译成机器码给内核）。文件系统（文件组织方式，linux没有盘符，有目录/文件/链接link）。应用程序
• • 4.1 关机/重启/注销
  • 4.2 系统信息和性能
  • 4.3 磁盘和分区
  • 4.4 用户和用户组
  • 4.5 网络和进程管理
  • 4.6 系统服务
  • 4.7 文件和目录
  • 4.8 文件查看和处理
  • 4.9 打包和解压
  • 4.10 RPM包管理
  • 4.11 YUM包管理
  • 4.12 DPKG包管理
  • 4.13 APT软件工具
  • 4.14 用户管理及权限
  • 4.15 sed：管道过滤（替换，删除）
  • 4.16 awk：-F指定分隔符，-V设置变量，NF列数，$NF是一行数据最后一列的值，多用于对字段（像数据库中的字段）
  • 4.17 grep：元字符即\\d，\\D这些是Perl正则-P，扩展正则-E
• 5.vi命令：三种（命令行[Esc]，编辑[i]，底行[:wq]）模式切换
• 6.正则：\\d，？* +这些是[a-z]m,n这些的简写
• 7.Hash：传统/一致性
• 8.iNode：磁盘中块和扇区
• 9.文件查找与读取命令：C语言中‘\\0’（对应的ASCLL码值为0）表示的空字符
• • 9.1 find：找文件
  • 9.2 grep：找文件中内容
  • 9.3 cat/more：查看文件全部内容
  • 9.4 head/tail：查看文件部分内容
• 10.Linux下开机自动重启脚本：/etc/rc.local，Crontab，Systemd
• 11.Linux系统启动过程：ukr，ubuntu开机引导文件/etc/default/grub

---

1.VMware和CentOS安装：两个网络适配器是虚拟机的，Linux抄袭unix，Mac os是unix的皮肤

VMware15和CentOS6.9：链接：https://pan.baidu.com/s/1HV6WqUTAwlOSjWkLXVrCRw ，提取码：1x8e 。VMware15【CG392-4PX5J-H816Z-HYZNG-PQRG2】直接下一步安装。右击图标属性-兼容性-更改所有用户的设置-勾上以管理员身份运行此程序。仅主机模式（Host-only）网卡默认192.168.56…，NAT网卡默认10.0.2…。

1.点击创建新的虚拟机：自定义（高级）-稍后安装操作系统-linux-版本centos6 64位-D:\\vm.\\cent0s6-使用仅主机模式网络-将虚拟磁盘存储为单个文件（动态分配20G硬盘）。

2.编辑虚拟机设置：选中网络适配器添加-CD/DVD使用CentOS6的iso文件（开启此虚拟机出问题：控制面板-卸载程序-Microsoft Visual C++的两个x64和x86文件右击卸载，不点卸载，点修复再重启计算机）。

3.开启虚拟机安装操系：默认第一个install，方向键选择红色的Skip（跳过）回车。两个网卡注意要配置网络自动连接。使用所有空间-将修改写入磁盘-Basic Server。鼠标退出虚拟机用ctrl+alt，将一个小窗口移至虚拟机前就可以用QQ截图。

NAT网络模式：多台虚拟机和宿主组成一个小局域网，之间都可互相通信，虚拟机也可访问外网，如搭建hadoop 集群，分布式服务。桥接网络模式：只需要一台虚拟机可以和宿主互通，并可以访问外网。如果不需要锁定静态IP（如hadoop不锁定IP很麻烦），那跳过下面步骤。如下同理本地回环配置文件 /etc/sysconfig/network-scriptis/ifcfg-lo。ifdown/ifup关闭/启动etho网卡。



netstat -anp|grep ssh，vi /etc/ssh/sshd_config放开Port 22，或可在下行加上Port 60051，service sshd status（显示running才正常），service sshd restart，chkconfig可将sshd加入到系统服务中，这样开机后sshd将自动启动：chkconfig sshd on，vscode连接ssh先不加用户名。

2.CRT安装：netstat -nal | grep 22，改注册信息要打开CRT客户端在最上端Help栏中Enter License Data

ssh客户端软件SecureCRT8.5：链接：https://pan.baidu.com/s/1Y74YVz2ysQ3rFjGjnthb1Q ，提取码：l8gb 。解压后如下所示：

右击以管理员身份运行上图的scrt…exe文件，安装完后桌面出现图标先不要点击运行，将上图注册机文件夹里的keygen.exe复制到下图默认安装路径文件夹中，并右击以管理员打开keygen.exe出现如下图黄色窗口。

在如下License中不用去除中括号，写入SecureCRT.exe中去除，Patch连到SecureCRT.exe和LicenseHelper.exe。

第一次打开下图进行填写注册信息按照上图黄色窗口对应写入，上面patch到就是下面这个.exe文件。


免安装版直接发送到桌面快捷方式：链接：https://pan.baidu.com/s/1QJ01ZByyQheFllLHy6ugAw 提取码：awa2 。如下图红框就是很多的session。

3.CRT配置：SSH2。Hostname：192…。Port：22。Username：root

配置会话的属性，在会话上点击属标右键，选择Properties的Terminal。每30秒向服务器发送一次心跳。

分清Hostname，Username，Name。

修改Centos的字符集，增加对中文的支持： 登录服务器，输入 su – root 回车后再输入密码，切换到root用户（超级用户，有的远程服务器没权限）。修改字符集：echo LANG="zh_CN.gbk" > /etc/sysconfig/i18n。export LANG="en_US";export LANGUAGE="en_US";export LC_ALL="en_US";。

修改时区为亚州上海时间，在root下执行并输入y：
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime。date （不是data）查看系统时间：date -s修改时间，date -s 2019/07/31，date -s 10:24:00 。date -s ‘2020-01-01 11:11:11’。

4.Linux命令：linux组成：内核（就是操作系统，和硬件打交道，驱动）。shell（和用户打交道，用户指令翻译成机器码给内核）。文件系统（文件组织方式，linux没有盘符，有目录/文件/链接link）。应用程序

win下任务管理器中explorer.exe进程（是Windows程序管理器或文件资源管理器，它用于管理Windows图形壳，包括桌面和文件管理。删除该程序会导致Windows图形界面无法使用）kill掉就不用重启安装软件时，cmd重新explorer.exe执行。

/usr/bin里是系统预装的可执行程序，会随着系统升级而改变。/usr/local/bin是给用户放置自己的可执行程序的地方，推荐放在这里，不会被系统升级而覆盖同名文件。/etc存放的是管理文件用的相关配置文件，比较重要的 /etc/rc，用户信息文件/etc/passwd：

/usr（Unix System Resource，不是User）放的是应用程序和文件，如果在安装软件的时候，选择默认安装的位置，通常就会默认在这个位置：

/var用来存放系统运行的日志文件：

/dev包含所有的设备文件。/proc是虚拟目录，主要存放的是内存的映射，通过这个目录和内核的数据结构打交道比如修改内核参数，获取进程的相关信息：

/boot存放了启动 Linux 的核心文件，包含镜像文件和链接文件，破坏后系统基本上就不能启动。/mnt是移动设备文件系统的挂点。

/bin/sbin当你装相关的软件或者安装包后，很多时候都会链接在这个目录下面，另外这里也存放了平时我们用的各种shell命令如 cp，ls，dd等。对于sbin，这里的s是super 的意思，意味着需要超级用户才能执行的命令。常见磁盘分区fdisk，创建文件系统的mkfs就在这里。

/lib开发过程中，共享库文件等很多放在这里，这个目录会包含引导进程所需要的静态库文件，对于用户和系统来说“必需”的库（二进制文件）。/usr/lib一般存放的只是对用户和系统来说“不是必需的”库（二进制文件）。

/lost+found保存丢失的文件。什么意思，如果我们不恰当的关机操作，可能导致一些文件丢失，这些丢失的临时文件可能就会存放在这里。当重新启动的时候，引导程序就会运行 fsck程序并发现这个文件。

4.1 关机/重启/注销

4.2 系统信息和性能

4.3 磁盘和分区

4.4 用户和用户组

4.5 网络和进程管理

4.6 系统服务

4.7 文件和目录

4.8 文件查看和处理

4.9 打包和解压

tar只是打包，并不压缩或解压。
-c: 建立压缩档案
-x：解压
-t：查看内容
-j, --bzip2
-z, --gzip, --gunzip --ungzip
-v, --verbose 详细列出处理过的文件
-f, --file ARCHIVE 使用存档文件或设备存档(指定存档文件),切记，这个参数是最后一个参数，后面只能接档案名。

tar命令必须和-f命令连用, 在选项f之后的文件档名是自己取的，习惯用.tar 来作为辨识。 如果加z选项，则以.tar.gz或.tgz来代表gzip压缩过的tar包。

4.10 RPM包管理

4.11 YUM包管理

4.12 DPKG包管理

4.13 APT软件工具

4.14 用户管理及权限

如下文件类型p是指管道文件。

查看几个文件的内容差异：diff -c file1 file2。
将a.txt每5行分割为一个文件：split -5 a.txt。
nohup java -jar a.jar & ( jobs命令查看这个后台任务的编号 )。
netstat -ntlp查看运行程序的端口。
kill -9 %1（这个1就是jobs命令的1编号）。
tcpdump数据包获取，nc网络调试，vmstat进程信息和内存使用。

4.15 sed：管道过滤（替换，删除）

如下将逗号替换为空格。s表示替换，g表示全局，即行中所有匹配项都被替换。sed -i ‘s/sys_led/sys_url/g’ /home/sysfs1/s3ip_sysfs_frame/sysurl_sysfs.c。

^匹配行首，$匹配行尾，如下d删除空行或只包含空格的行（因为行首行尾中间为空）。

sed常用于管道过滤，如下把x替换成y。

如下-r打开扩展正则，将逗号换成TAB。

4.16 awk：-F指定分隔符，-V设置变量，NF列数，$NF是一行数据最后一列的值，多用于对字段（像数据库中的字段）

如下按逗号分隔并打印分割后的第三列和第四列。

如下BEGIN指定了处理文本之前需要执行的操作。END指定了处理完所有行之后所需要执行的操作。

如下按逗号分隔并打印最后一列内容。


对比上面，如下一行一行读取并打印，列数>0打印。



如下-c统计个数。

2是个数，不是序号。

4.17 grep：元字符即\\d，\\D这些是Perl正则-P，扩展正则-E

如下.中的\\是转义符，.168这样重复3次（注意168前面有.）。

5.vi命令：三种（命令行[Esc]，编辑[i]，底行[:wq]）模式切换

1.插入：前后上下，以下命令都在命令行模式下。

2.上下左右：j下，k上，h左，l右。
3.翻页：

4.跳光标：


5.删字符和行：


6.复制粘贴：


7.替换：


8.撤，接：


9.行，找：



10.重复，大小写：


11.存盘：


12.列操作：

:%d删除文件整个内容。

6.正则：\\d，？* +这些是[a-z]m,n这些的简写

^：整段字符串开头。$：整段字符串结束。^[]$：中括号内部可匹配一个字符。

如下自己输入1，1的蓝色阴影则匹配。



\\d：相等于[0- 9]，中括号里是什么或什么。
\\D：相等于[^0- 9]，除了0到9外的任意字符。如下匹配 数字\\d 或 数字外任意字符\\D，也就是匹配任意字符。

\\w：字母，数字或下划线，常用于互联网用户名的命名上。

如下两个等价。

如下两个等价。

如下两个等价。

如下是邮箱的匹配规则。

组group：如上只想获取@前面的用户名，上面中括号，大括号都出现了，就差小括号

如下1就是组1。

如下first就是组名，右边是js语法，groups显示underfined因为没命名。

7.Hash：传统/一致性

Hash（散列、杂凑）算法（应用于哈希表和摘要密码学），是把任意长度的输入通过特定的算法变换成固定长度的输出，输出的值就是hash值。这个特定的算法就叫hash算法，hash算法并不是一个固定不变的算法。只要是能达到这个目的的算法都可以说hash算法。例如MD5，SHA，String.hashcode()都是hash算法。

不同的输入可能会得出相同的hash值，那么这种现象称为hash碰撞，无论是采用那种hash算法，hash碰撞都是不可避免的，我们只能通过改进hash算法，把出现碰撞的概率降低。hash英语中的意思是剁碎的食物，反应在计算机领域大概就是把任意数据切割打碎，输出固定长度的数据。

如下三台缓存服务器S0，S1，S2，有三万张图片进行缓存，最好能均匀缓存到服务器上分担缓存压力。简单做法对缓存下来的键key哈希计算得到整数，再用缓存服务器数量对这个值取模，用取模产生的余数来决定数据应该缓存在哪台服务器上。对同一个图片名称即key编号做相同哈希计算时得到hash值不变的，所以当需要访问图片时再次对图片名称进行hash计算和取模计算就能知道图片存放在哪台服务器上。

增加服务器时，图片之前存在S0上，S2服务器读不到，大量缓存失效导致缓存雪崩。所以要用到一致性哈希。

如下的圆有2的32次方个点组成，称为hash环。A,B,C三台缓存服务器的编号做hash计算即用2的32次方取模，得出的结果一定在0到2的32次方之间的整数对应hash环上一点。a.jpg找到图片的key，相同方法映射到hash环上。缓存服务器和图片都映射到了hash环上了，现在要确定图片应该被缓存在哪台服务器上？沿顺时针方向。。。加入新服务器D时，c.jpg会缓存到D上，不会到A上，但其他不变。

一致性hash算法有个问题就是hash偏斜即A，B，C三台服务器太靠一起，导致大量图会缓存到一台服务器上。解决：还是三台物理服务器，多加点虚拟节点进行分布。

8.iNode：磁盘中块和扇区

linux文件系统中iNode用来存储文件原数据信息，不存储文件内容，原数据信息包括：
类型：这个文件是个目录还是普通文件。
拥有者：这个文件是owner还是group owner。
时间：ctime：上次inode变动时间。atime：上次访问时间。mtime：上次文件内容发生变动时间。
连接数：有多少文件名同时指向inode。一个文件名只对应一个inode，但一个inode可能被多个文件名同时指向。
文件内容所在的位置：文件真正内容所在磁盘块的标号。

1.文件系统fs在格式化好后，inode以什么样格式存储的呢？整个inode以数组形式存储，每个元素是一个inode，每个inode大小根据当前文件系统以及整个磁盘大小，inode会有一个固定128或256字节大小。

2.除了inode数组，fs初始化好后还会生成一个Map映射关系表（存储filename和inode index）。现在要读取/ect/1.txt，整个过程怎么样？先根据文件名到Map中找到inode index，找到下标为假如是3的inode后拿出来如下图左边整个框。当前在读取/ect/1.txt，所以查看是否有读权限，如果有读权限就继续往下，找到文件内容所在位置（磁盘上块的下标）。

文件内容在磁盘中存储区域如下：以块进行分隔，每个块大小也是根据当前fs和整个磁盘大小决定，并不是一个特定大小【扇区在磁盘生产时有多少个扇区，每个大小是定的，早期扇区512byte，现在4k】。文件系统fs在文件访问过程中不可能直接使用扇区，扇区是硬件的概念，所以抽象出一个概念：fs角度去看最小文件存储单元就是块，一个块可以有一个或多个扇区组成（2的幂次方即1，2，4…个扇区）。

一个块采用多少扇区也是有权衡的，比如一个块有好几兆，存一个1k文件也要占一个文件块，造成磁盘空间浪费。块选择过小的话也不好，如果一个块大小1bit，导致一个文件假如是1kb，它所在的块由1千个块组成，在inode中存储文件内容所在位置这个字段时候造成存1千个块信息（1千个块下标），一个inode（存1千个块下标）不可能128/256字节大小了，一个inode会很大，进而导致inode数组会很大，整个inode区大，这样导致磁盘损耗大量空间存储inode信息，较少的空间存储真正文件内容。

即使进行权衡，目前存在问题，如经常听到inode用完了即inode数组初始化大小用完了，声明完数组大小后不能增加或减少了。inode数组用完了即使磁盘还有额外空间也不能存储文件了，常见特别零碎文件数量又特别多占据磁盘大量inode导致整个inode用完。如早期docker采用overlay文件存储格式导致镜像的碎文件很多，导致inode用尽这样问题，后面采用overlay2文件存储格式一定程度上解决了这问题。

查看linux系统中inode数组以及每个文件所对应inode标号：df -i（inode），查看当前文件夹下文件所在的inode标号是什么ls -il。访问1.txt先查文件名和inode标号映射即Map，1.txt能找到270306这个标号。根据这个标号到1183200这个数组中拿取第270306个标号的inode。根据这个inode信息查看权限，最终找到1.txt在磁盘中存储位置，最后把这些磁盘块进行读取，最终读取到1.txt这个文件。


如果是一块移动硬盘，在其他设备上创建了文件 把这个移动硬盘拿到linux上面，有没有inode呢？
1.os可以支持多种fs。2.inode是在ext2/3/4等linux支持的文件系统(fs)有的。所以移动硬盘看是什么文件系统了，如果是ntfs或者exfat、fat32等等就是另一种访问形式了，inode其实是文件系统里的概念，而不是linux的概念。

9.文件查找与读取命令：C语言中‘\\0’（对应的ASCLL码值为0）表示的空字符

9.1 find：找文件

过滤一下看文件大小：-print0将如上三行打印为1行并用null即‘\\0’隔开，再用xargs -0即用‘\\0’再分开（原因是默认管道到下一个里面空格会出错）。

如上/是整个系统搜索慢，如下是当前路径搜索快。

日志文件没清空非常大，要找到删除，如下找系统中大文件，超过10M。

如下查找文件夹，文件夹有相应名字或大小属性。

如下基于修改时间，time是天。-1：今天一天之内。1：1天前这一天。+1：1天前。



如下指定最大文件深度。

如下是find指令总结。

9.2 grep：找文件中内容

echo “aa” >> 1.txt，追加内容。cat -n 1.txt（行号：number）。grep “a” 1.txt。

如下* 可换成 * .txt。

-r：递归子路径，-n：显示行号。-i：忽略大小写。

如下用于java日志文件非常大，要grep出某个异常如ioexception，且需要打印出exception下面几行看什么出了错。

9.3 cat/more：查看文件全部内容

cat的文件非常大，非常占用cpu和内存，这时候可以每次读取一小部分。

如下通过空格往后翻页。

如下指定从第四行开始读。

如下查看前后10行。

9.4 head/tail：查看文件部分内容

如下打印文件最后两行，tail -f 阻塞监控。

df -h查看磁盘使用，占用率太高就需要使用前面find，grep指令并进行删除。

如上找出占空间的文件夹再去里面找。


题目：输出当前路径及当前路径子路径下所有.txt文件，要求大小超过1M，并且按照从大到小顺序进行排序输出前10个?
先通过find . -name '*.txt' -size +1M -type f 查看是否有大于1M的txt文件，没有的话就不用继续了。
再通过find . -name '*.txt' -size +1M -type f -print0|xargs -0 du -m|sort -nr|head -10。

10.Linux下开机自动重启脚本：/etc/rc.local，Crontab，Systemd

$ crontab -e：@reboot sleep 300 && /home/wwwjobs/clean-static-cache.sh（在启动 5 分钟后运行指定脚本）

update-rc.d管理： mv new_service.sh /etc/init.d/，cd /etc/init.d/，sudo update-rc.d new_service.sh defaults 90（90表明一个优先级，越高表示执行的越晚）。在/etc/init.d目录下的可执行程序的优先级会高于/etc/systemd/system/下的.service文件（如果同时存在）。

serivice xxxx start|stop|restart相当于是对/etc/init.d下的xxxx的封装，相当于是一个管理命令，实际执行的是/etc/init.d下的可执行程序。如果/etc/init.d下没有该服务的可执行程序，则使用.service文件。

# 做了一个可执行脚本（xxxx），将它放到了/etc/init.d/目录下, $ sudo /usr/sbin/update-rc.d -f xxxx defaults

# 提示：
# perl: warning: Setting locale failed.
# perl: warning: Please check that your locale settings:
# LANGUAGE = "en",
# LC_ALL = (unset),
# LC_CTYPE = "zh_CN.UTF-8",
# LANG = "en_US.UTF-8"
# are supported and installed on your system.
# perl: warning: Falling back to the standard locale ("C").
# Adding system startup for /etc/init.d/xxxx ...
# /etc/rc0.d/K20xxxx -> ../init.d/xxxx
# /etc/rc1.d/K20xxxx -> ../init.d/xxxx
# /etc/rc6.d/K20xxxx -> ../init.d/xxxx
# /etc/rc2.d/S20xxxx -> ../init.d/xxxx
# /etc/rc3.d/S20xxxx -> ../init.d/xxxx
# /etc/rc4.d/S20xxxx -> ../init.d/xxxx
# /etc/rc5.d/S20xxxx -> ../init.d/xxxx

# 重启系统后发现脚本没有自动执行，还是要手动
# /etc/init.d/xxxx start

# 解决：自己的东西。最好rcS.d里面

11.Linux系统启动过程：ukr，ubuntu开机引导文件/etc/default/grub

内核（=操作系统）怎样启动第一个应用程序：1.open(dev/console，printf/scanf/err)等设备文件，2.run_init_process函数如下。

init进程：是加载内核镜像文件后第一个进程，是Linux的根进程，所有的系统进程都是它的子进程。运行级别：0（init0关机），1（单用户模式，只允许root用户对系统维护），2到5（多用户模式，3为字符界面，5为图形界面），6（init6重启）。

busybox：ls这些命令相当于应用程序（可执行二进制文件），成千上百个命令，源码找来再编译，显然很费事。busybox是这些命令的组合。想确定init进程做了什么事就要看busybox的源码。在kernel挂载根文件系统后，运行的第一个程序是根目录下的linuxrc，实际是一个指向/bin/busybox的链接, 也就是说系统起来后运行的第一个程序是busybox本身。busybox首先解析/etc/inittab这个进行初始化的配置文件， 然后调用/etc/init.d/rcS， 最后是执行/etc/profile（/etc/profile.d ， ~/.bashrc ， ~/.bash_file）。