Linux Shell编程

Posted 2021-03-10 春告鳥

一，基础正则表达式

　　1，正则表达式与通配符

　　　　1，正则表达式用来在文件中匹配符合条件的字符串，正则是包含匹配，grep,awk,sed等命令可以支持正则表达式

　　　　2，通配符用来匹配符合条件的文件名，通配符是完全匹配，ls find cp 这些命令不支持正则表达式，所以只能使用shell自己的通配符来进行匹配了

　　2，基础正则表达式

　　　　

表达式	含义
^	^word表示匹配以word开头的内容（打印的是一行内容），vi/vim 编辑器里^代表一行的开头
$	word$表示匹配word结尾的内容（打印的是一行内容），vi/vim编辑器里$代表一行的结尾
^$	表示空行
.	代表且只能代表任意一个字符
	.就只代表点本身，转义符号，让有着特殊身份意义的字符，脱掉马甲，还原原形
*	重复0个或多个前面一个字符，例如：0*，有1个0或多个000000
.*	匹配所有字符，延伸^.*以任意多个字符开头，.*$以任意多个字符结尾
[abc]	匹配字符集合内的任意一个字符[a-zA-Z],[0-9]（单个字符而不是包含的单词）
[^abc]	匹配不包含^后的任意一个字符的内容（单个字符而不是包含的单词）；其中括号里^为取反，注意和中括号内以^开头区别
a{n,m}	重复n到m次，前一个重复的字符，如果用egrep/sed -r可以去掉斜线； 例子：gerp "0{3,4}" syz.log  意思为，0匹配,3-4次          my qq name is 49000448          not 490000048
a{n,}	重复至少n次，前一个重复的字符，如果用egrep/sed -r 可以去到斜线
a{n}	重复n次，前一个重复的字符，如果用egrep/sed -r 可以去掉斜线 例子：gerp "0{3}" syz.log  意思为，0匹配,3次          my qq name is 49000448
a{,m}	????Centos5不能用，Centos6、7可以用 例子：gerp "0{3}" syz.log  意思为，0匹配,3次          my qq name is 49000448

 

二，字符截取命令

　　1，cut字段提取命令 （提取符合条件的列）

　　　　cut 【选项】文件名 （一般cut 和 grep 配合使用）

　　　　选项：

　　　　　　-f 列号：提取第几列

　　　　　　-d 分隔符：按照指定分隔符分割列

　　2，printf 命令

　　　　printf ‘输出类型输出格式‘ 输出内容

　　　　输出类型：

　　　　　　%ns：输出字符串。n是数字指代输出几个字符

　　　　　　%ni：输出整数，n是数字指代输出几个数字

　　　　　　%m.nf：输出浮点数，m和n是数字，指代输出的整数位数和小数位数，如%8.2f代表共输出8位数，其中两位是小数，6位是整数

　　

　　hint :在$()中，()执行的内容是一条系统命令

　　在awk命令的输出中支持print 和 printf命令

　　　　1，print:print会在每个输出之后自动加入一个换行符（Linux默认没有print命令）

　　　　2，printf:printf是标准格式输出命令，并不会自动加入换行符，如果需要换行，需要手工加入换行符

　　3，awk命令

　　　　awk ‘条件1{动作1} 条件2{动作2} .....‘ 文件名

　　　　条件（pattern）：

　　　　　　一般使用关系表达式作为条件

　　　　　　 x>10 判断x变量是否大于10

　　　　　　 x>=10判断x变量是否大于等于10

　　　　　　x<=10判断x变量是否小于10

　　　　动作（Action）：

　　　　　　格式化输出

　　　　　　流程控制语句

　　　　例如：

　　　　　　awk ‘{printf $2 " " $6 " "}‘ student.txt

　　　　　　df -h | awk ‘{print $1 " " $3}‘

　　　　hint :print 会自动加换行符

　　　　因为cut命令是使用制表符 来进行分割的，当列分割使用的是空格的时候，想要分割得到列我们就需要使用到awk

　　　　例如：

　　　　　　df -h | grep "sda" | awk ‘{printf $5 " " } | cut -d "%" -f 1

　　　　

　　　　awk中的BEGIN

　　　　　　awk ‘ BEGIN {printf "This is a transcript "} {printf $2 " " $6 " "} ’ student.txt

　　　　　　会在处理分割之前先输出一行This is a transcript

　　　　awk的FS内置变量 （定义分隔符）

　　　　　　cat /etc/passwd | grep "/bin/bash" | awk ‘BEGIN {FS=":"}{printf $1 " " $3 " "}‘

　　　　hint:awk处理时是先读入第一行数据再进行处理

　　　　awk中的END（与BEGIN相对，在所有数据处理完后执行）

　　　　　　awk ‘END {printf "The End "}{printf $2 " " $6 " "}‘ student.txt

　　　　awk中的关系运算符:

　　　　　　cat student.txt | grep -v Name | awk ‘$6>=87 {printf $2 " "}‘

　　4，sed命令

　　　　sed是一种几乎包括在所有Unix平台（包括linux）的轻量级流编辑器，sed主要是用来将数据进行选取，替换，删除，新增的命令

　　　　sed【选项】‘动作‘ 文件名

　　　　选项：

　　　　　　-n 一般sed命令会把所有数据都输出到屏幕，如果加入此选择，则只会把经过sed命令处理的行输出到屏幕

　　　　　　-e 允许对输入数据应用多条sed命令编辑

　　　　　　-i 用sed的修改结果直接修改读取数据的文件，而不是由屏幕输出

　　　　动作：

　　　　　　a:追加

　　　　　　c:行替换

　　　　　　i:插入

　　　　　　d:删除

　　　　　　p:打印

　　　　　　s:字串替换

　　　　例如：

　　　　　　sed -n ‘2p‘ student.txt

　　　　　　df -h | sed -n ‘2p‘

　　　　　　sed ‘2,4d‘ student.txt

　　　　　　sed ‘2a zuobi‘ student.txt　　追加在行末

　　　　　　sed ‘2c No much person‘ student.txt　　数据替换

　　　　字符串替换

　　　　　　sed ‘s/旧字符串/新字符串/g‘ 文件名

　　　　　　sed ‘3s/74/99/g‘ student.txt

 

三，字符处理命令：

　　1，排序命令 sort

　　　　sort 【选项】文件名

　　　　选项：

　　　　　　-f　　忽略大小写

　　　　　　-n　　以数值型进行排序，默认使用字符串型排序

　　　　　　-r　　反向排序

　　　　　　-t　　指定分隔符，默认分隔符是制表符

　　　　　　-k n[,m]:　　按照指定的字段范围排序，从第n字段开始，m字段结束（默认到行尾）

　　　　　　sort -n -t ":" -k 3,3 /etc/passwd

　　2，统计命令 wc

　　　　wc【选项】文件名

　　　　选项：

　　　　　　-l 只统计行数

　　　　　　-w 只统计单词数

　　　　　　-m 只统计字符数

 

四，条件判断

　　1，按照文件类型进行判断

　　　　-d 文件　　判断该文件是否存在，并且是否为目录文件（是目录为真）

　　　　-e 文件　　判断该文件是否存在（存在为真）

　　　　-f 文件　　判断该文件是否存在，并且是否为普通文件（是普通文件为真）

　　　　-L 文件　　判断该文件是否存在，并且是否为符号链接文件（是符号链接文件为真）

　　　　例如：

　　　　　　test -e student.txt

　　　　　　echo $?

　　　　　　[ -e student.txt]

　　　　　　[ -d /root ] && echo "yes" || echo "no"

　　2，按照文件权限进行判断

　　　　-r 文件　　判断该文件是否存在，并且是否该文件拥有读权限

　　　　-w 文件　　判断该文件是否存在，并且是否该文件拥有写权限

　　　　-x 文件　　判断该文件是否存在，并且是否该文件拥有执行权限

　　　　test -w student.txt && echo "yes" || echo "no"

　　3，两个文件之间进行比较

　　　　文件1 -nt 文件2　　判断文件1的修改时间是否比文件2的新（为新则为真）

　　　　文件1 -ot 文件2　　判断文件1的修改时间是否比文件2的旧（为旧则为真）

　　　　文件1 -ef 文件2　　判断文件1是否和文件2的Inode号一致，可以理解为两个文件是否为同一个文件

　　4，两个整数之间的比较

　　　　整数1 -eq 整数2　　判断整数1是否和整数2相等（相等为真）

　　　　整数1 -ne 整数2　　判断整数1是否和整数2不相等（不相等为真）

　　5，字符串判断

　　　　-z 字符串　　判断字符串是否为空（为空返回真）

　　　　-n 字符串　　判断字符串是否为非空（非空返回真）

　　　　字符串1 == 字符串2　　判断字符串是否相等

　　　　字符串1 != 字符串2　　判断字符串是否不等

　　6，多重条件判断

　　　　判断1 -a 判断2　　逻辑与，判断1和判断2都成立，为真

　　　　判断1 -o 判断2　　逻辑或，判断1和判断2其一成立，为真

　　　　!判断　　逻辑非，判断为假的时候 ，!判断为真

 

五，流程控制

　　1，if语句

　　　　1，单分支if条件语句

　　　　　　if 【条件判断式】;then

　　　　　　　　程序

　　　　　　fi

　　　　或者

　　　　　　if 【条件判断式】

　　　　　　　　then 

　　　　　　　　　　程序

　　　　　　fi

　　　　单分支条件语句需要注意几个点：

　　　　　　1，if语句使用fi结尾和一般语言使用大括号结尾不同

　　　　　　2，【条件判断式】就是使用test命令判断，所以中括号和判断式之间必须有空格

　　　　　　3，then后面跟符合条件之后执行的程序，可以放在[]之后，用";"分割，也可以换行写入，就不需要";"了

　　　　判断分区使用率

　　　　　

　　　　#!/bin/bash

　　　　rate=$( df -h | grep "/dev/sda1" | awk ‘{print $5}‘ | cut -d "%" -f 1)
　　　　if [ $rate -ge 80 ];then
　　　　　　echo "warning ! /dev/sda1 is full!"
　　　　if
　　　　echo "check end"

 

　　　　2,双分支if条件语句

　　　　　　if【条件判断式】

　　　　　　　　then 

　　　　　　　　　　条件成立时执行的程序

　　　　　　else

　　　　　　　　　　条件不成立时执行的程序

　　　　　　fi

　　　　

　　　　3，多分支if条件语句

　　　　　　if 【条件判断式1】

　　　　　　　　then 

　　　　　　　　　　当条件判断式1成立时执行程序1

　　　　　　elif【条件判断式2】

　　　　　　　　then

　　　　　　　　　　当条件判断式2成立时执行程序2

　　　　　　else

　　　　　　　　当所有条件不成立时，最后执行此程序

　　　　　　fi

　　

　　2，case语句

　　　　多分支case条件语句

　　　　case语句和if...elif..else语句一样都是多分支条件语句，不过和if多分支条件语句不同的是，case语句只能判断一种条件关系，而if语句可以判断多种条件关系

　　　　case $变量名 in

　　　　　　"值1")

　　　　　　　　如果变量的值等于值1，则执行程序1

　　　　　　　　;;

　　　　　　"值2")

　　　　　　　　如果变量的值等于值2，则执行程序2

　　　　　　　　;;

　　　　　　*)

　　　　　　　　如果变量的值都不是以上的值，则执行该程序

　　　　　　　　;;

　　　　esac

　　3，for循环

　　　　语法一：

　　　　　　for 变量 in 值1 值2 值3

　　　　　　　　do

　　　　　　　　　　程序

　　　　　　　　done

　　　　

　　　　语法二：

　　　　　　for((初始值;循环控制条件;变量变化))

　　　　　　　　do

　　　　　　　　　　程序

　　　　　　　　done

　　4，while循环与until循环

　　　　1,while循环

　　　　　　while循环是不定循环，也称作条件循环，只要条件判断式成立，循环就会一直继续，直到条件判断式不成立，循环才会停止，这就和for的固定循环不太一样

　　　　　　while 【条件判断式】

　　　　　　　　do

　　　　　　　　　　程序

　　　　　　　　done

　　　　2，until 循环

　　　　　　until循环和while循环相反，until循环时只要条件判断式不成立则进行循环，并执行循环程序。一旦循环条件成立，则终止循环

　　　　　　until 【条件判断式】

　　　　　　　　do

　　　　　　　　　　程序

　　　　　　　　done