Linux 笔记 - 第十二章 Shell 脚本

Posted 2020-10-31 沐小悠

博客地址：http://www.moonxy.com

一、前言

常见的编程语言分为两类：一类是编译型语言，如：C、C++ 和 Java等，它们远行前要经过编译器的编译。另一类是解释型语言，不需要编译，执行时，需要使用解释器一行一行地解释执行，如：awk、perl、python 和 shell 等。

Shell 是一种脚本语言，属于上面提到的第二类语言，就必须有对应的解释器来执行这些脚本，最常见的脚本解释器是：bash。

在编写 Shell 脚本时，我们不仅会用到很多的 Linux 命令、正则表达式、管道符、数据流重定向等语法规则，还需要把内部功能模块化后通过逻辑语句进行处理，最终形成常见的 Shell 脚本。

1.1 查看系统支持的 Shell 种类

Linux 的 Shell 种类众多，常见的有：
Bourne Shell（/usr/bin/sh或/bin/sh）
Bourne Again Shell（/bin/bash）
C Shell（/usr/bin/csh）
K Shell（/usr/bin/ksh）
Shell for Root（/sbin/sh）

可以通过查看 /etc/shells，知道当前系统所支持的所有 shell 类型及路径，如下：

[root@ryan ~]# cat /etc/shells
/bin/sh
/bin/bash
/sbin/nologin
/bin/dash
……

Bourn Shell 是最早流行起来的一个 Shell 版本，其创始人是 Steven Bourn，为了纪念他而将其命名为 Bourn Shell，简称 sh。RedHat 系列的 Linux 发行版默认也安装了 Bash，也就是 Bourne Again Shell，由于易用和免费，Bash 在日常工作中被广泛使用。同时，Bash 也是大多数Linux 系统默认的 Shell。

1.2 查看当前用户使用的 Shell 种类

可以通过执行 echo $SHELL 查看，如下：

[root@ryan ~]# echo $SHELL
/bin/bash

或者查看 /etc/passwd，以查看 root 用户的 Shell 类型为例，如下：

[root@ryan ~]# cat /etc/passwd | grep ^root
root:x:0:0:root:/root:/bin/bash

最后一个:号后显示的字段即为 root 用户的登录 shell 类型，此处为 bash。

也可以直接输入命令 echo $0 查看，但需要注意的是并不是所有的 Shell 都支持，如下：

[root@ryan ~]# echo $0
-bash

当然也可以在当前环境变量中查看，如下：

[root@ryan ~]# env | grep SHELL
SHELL=/bin/bash

其实，查看当前用户 Shell 种类的方法还有很多。

1.3 查看 Shell 版本

在获得当前使用的 shell 的类型后，用户可以直接使用 shell 相关的命令参数获取其版本号，一般都可以使用 --version 参数来获取 shell 的版本号，如下：

[root@ryan ~]# bash --version
GNU bash, version 4.1.2(1)-release (x86_64-redhat-linux-gnu)
Copyright (C) 2009 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

二、常用 Shell 操作

2.1 命令 date

date 命令的常用的格式化选项：

date +%Y：表示以四位数字格式打印年份；

[root@ryan ~]# date +%Y
2018

date +%y：表示以两位数字格式打印年份；

[root@ryan ~]# date +%y
18

date +%m：表示月份；

[root@ryan ~]# date +%m
04

date +%d：表示日期；

[root@ryan ~]# date +%d
14

date +%H：表示小时；

[root@ryan ~]# date +%M
13

date +%M：表示分钟；

[root@ryan ~]# date +%M
04

date +%S：表示秒；

[root@ryan ~]# date +%S
46

date +%w：表示星期，如果结果显示 0 则表示周日；

[root@ryan ~]# date +%w
6

date +%F：表示年月日；

[root@ryan ~]# date +%F
2018-04-14

date +%T：表示时分秒；

[root@ryan ~]# date +%T
14:08:57

date +"%Y-%m-%d %H:%M:%S"，显示如下：

[root@ryan ~]# date +"%Y-%m-%d %H:%M:%S"
2018-04-14 14:10:43

date +"%F %T"，显示和上面相同。

有时候会用到前一天的日期，如下：

[root@ryan ~]# date -d "-1 day" +"%d"
13

或者后一天的日期，如下：

[root@ryan ~]# date -d "+1 day" +"%d"
15

同理可以设置小时，分钟等。

2.2 数学运算

数学运算的时候要用 [ ] 括起来，并且前面要加符号 $

[root@ryan ~]# a=2;b=3
[root@ryan ~]# ab=$[$a+$b]
[root@ryan ~]# echo $ab
5

定义变量的格式是：

变量名=变量值

定义之后引用该变量时要加上符号 $，如下：

$ab

如果变量的值是 shell  命令，则需要加反引号，它的作用是将引号中的字符串当成 shell 命令来执行。

2.3 和用户交互

read 命令用于和用户交互，它把用户输入的字符串作为变量值。如下：

[root@ryan shelltest]# cat readtest.sh
#!/bin/bash
## This Shell script is used for testing read
read -p "Please input a number:" n
echo $n

[root@ryan shelltest]# ./readtest.sh
Please input a number:5
5

也可添加 -t 选项，设置 3 秒后退出，如下：

read -t 3 -p "Please input a number:" n

2.4 Shell 脚本预设的特殊变量

$* 和 $@ 的区别为: $* 和 $@ 都表示传递给函数或脚本的所有参数，不被双引号(" ")包含时，都以"$1" "$2" … "$n" 的形式输出所有参数。但是当它们被双引号(" ")包含时，"$*" 会将所有的参数作为一个整体，以"$1 $2 … $n"的形式输出所有参数；"$@" 会将各个参数分开，以"$1" "$2" … "$n" 的形式输出所有参数。

$? 可以获取上一个命令的退出状态。所谓退出状态，就是上一个命令执行后的返回结果。退出状态是一个数字，一般情况下，大部分命令执行成功会返回 0，失败返回 1。

2.5 转义字符

在 echo 中可以用于的转义字符有：

2.6 Shell 中的引号

Shell 中的引号主要有单引号，双引号和反引号。

单引号

单引号里的任何字符都会原样输出，单引号字符串中的变量是无效的；

单引号字串中不能出现单引号（对单引号使用转义符后也不行）。

[root@ryan shelltest]# echo \'$HOME\'
$HOME

双引号

双引号里可以有变量；

双引号里可以出现转义字符。

[root@ryan shelltest]# echo "$HOME"
/root

反引号

反引号中的字符串当成 shell 命令来执行。

[root@ryan shelltest]# echo Today is `date +%F`
Today is 2018-04-14

得到文件名，使用 basename，如下：

[root@ryan shelltest]# basename /root/linux/shelltest/fortest.sh
fortest.sh

得到目录名，使用 dirname，如下：

[root@ryan shelltest]# dirname /root/linux/shelltest/fortest.sh
/root/linux/shelltest

2.7 执行 Shell

有两种方式可以执行 Shell，如下：

第一种：

sh filename.sh

如果想调试你的脚本，bash给我们提供了两个选项：-v 和 -x，如下：

[root@ryan shelltest]# cat iftest.sh
#! /bin/bash
## This shell script is used for testing if
echo "file name $(basename $0)"
echo "Hello $1"
echo "Hello $*"
echo "Args count: $#"
argscount=$#
if [ $argscount -eq 3 ];
then
echo \'args count is correct\'
elif [ $argscount -gt 3 ];
then
echo \'args count is more than 3\'
else
echo \'args count is less than 3\'
fi

如果我们想逐行详细地查看脚本的内容，可以使用 -v 选项。

[root@ryan shelltest]# sh -v iftest.sh 1 3 a
#! /bin/bash
## This shell script is used for testing if
echo "file name $(basename $0)"
file name iftest.sh
echo "Hello $1"
Hello 1
echo "Hello $*"
Hello 1 3 a
echo "Args count: $#"
Args count: 3
argscount=$#
if [ $argscount -eq 3 ];
then
echo \'args count is correct\'
elif [ $argscount -gt 3 ];
then
echo \'args count is more than 3\'
else
echo \'args count is less than 3\'
fi
args count is correct

更常用的是 -x 选项，它们在执行时显示命令。当我们决定选择分支的时候，更加实用。

[root@ryan shelltest]# sh -x iftest.sh 1 3 a
++ basename iftest.sh
+ echo \'file name iftest.sh\'
file name iftest.sh
+ echo \'Hello 1\'
Hello 1
+ echo \'Hello 1 3 a\'
Hello 1 3 a
+ echo \'Args count: 3\'
Args count: 3
+ argscount=3
+ \'[\' 3 -eq 3 \']\'
+ echo \'args count is correct\'
args count is correct

第二种：

./filename.sh（需要有执行权限，所以一般要先授予 x 权限）

三、shell 运算符

3.1 算数运算符

原生 bash 不支持简单的数学运算，但是可以通过其他命令来实现，例如 awk 和 expr。下面使用 expr 进行；  expr 是一款表达式计算工具，使用它可以完成表达式的求值操作；

3.2 关系运算符

只支持数字，不支持字符串，除非字符串的值是数字。常见的有：

也可以直接使用符号比较，但要同时使用双括号，如下：

< 小于(需要双括号) (( "$a" < "$b" ))

<= 小于等于(...) (( "$a" <= "$b" ))

> 大于(...) (( "$a" > "$b" ))

>= 大于等于(...) (( "$a" >= "$b" ))

3.3 布尔运算符

-o（--or，也可以用 [ $a -lt 20 ] || [ $b -gt 100 ]），-a（--and，也可以用 [ $a -lt 20 ] && [ $b -gt 100 ]）

3.4 字符串运算符

常用的有 -z，判断变量的值是否存在，不存在返回 true，存在则返回 false。

3.5 文件测试运算符

常用的有 -e（--exist，判断文件或目录是否存在），-d（--directory，判断是否目录已经是否存在），-f（--file，判断是否普通文件已经是否存在）

四、Shell 中的流程控制

4.1 if 条件选择

[root@ryan shelltest]# cat iftest.sh
#! /bin/bash
## This shell script is used for testing if
echo "file name $(basename $0)"
echo "Hello $1"
echo "Hello $*"
echo "Args count: $#"
argscount=$#
if [ $argscount -eq 3 ];
then
echo \'args count is correct\'
elif [ $argscount -gt 3 ];
then
echo \'args count is more than 3\'
else
echo \'args count is less than 3\'
fi

运行如下：

[root@ryan shelltest]# sh iftest.sh 3 5 a
file name iftest.sh
Hello 3
Hello 3 5 a
Args count: 3
args count is correct
[root@ryan shelltest]# sh iftest.sh 3 5
file name iftest.sh
Hello 3
Hello 3 5
Args count: 2
args count is less than 3
[root@ryan shelltest]# sh iftest.sh 3 5 a b
file name iftest.sh
Hello 3
Hello 3 5 a b
Args count: 4
args count is more than 3

4.2 case 条件选择

[root@ryan shelltest]# cat casetest.sh
#!/bin/bash
## This shell script is used for testing case
read -p "Input a number:" n
a=$[$n%2]
case $a in
1)
echo "The number is odd."
;;
0)
echo "The number is even."
;;
*)
echo "It\'s not a number!"
;;
esac

运行如下：

[root@ryan shelltest]# sh casetest.sh
Input a number:4
The number is even.
[root@ryan shelltest]# sh casetest.sh
Input a number:5
The number is odd.

4.3 while 循环

[root@ryan shelltest]# cat whiletest.sh
#!/bin/bash
## This shell script is used for testing while
a=5
while [ "$a" -ge "1" ]; do
echo $a
a=$[$a-1]
done

运行如下：

[root@ryan shelltest]# sh whiletest.sh
5
4
3
2
1

4.4 for 循环

[root@ryan shelltest]# cat fortest.sh
#!/bin/bash
## This shell script is used for testing for

for file in `ls /root/linux/shelltest`;
do
ls -ld /root/linux/shelltest/$file
done

运行如下：

[root@ryan shelltest]# sh fortest.sh
-rwxr-xr-x 1 root root 233 Apr 14 17:33 /root/linux/shelltest/casetest.sh
-rw-r--r-- 1 root root 18 Apr 13 20:49 /root/linux/shelltest/field.properties
-rwxr-xr-x 1 root root 141 Apr 14 17:40 /root/linux/shelltest/fortest.sh
-rwxr-xr-x 1 root root 211 Apr 13 20:48 /root/linux/shelltest/funcomp.sh
-rwxr-xr-x 1 root root 235 Apr 13 20:47 /root/linux/shelltest/funtest.sh
-rwxr-xr-x 1 root root 321 Apr 13 20:46 /root/linux/shelltest/iftest.sh
-rwxr-xr-x 1 root root 101 Apr 14 14:37 /root/linux/shelltest/readtest.sh
-rwxr-xr-x 1 root root 113 Apr 13 20:46 /root/linux/shelltest/whiletest.sh

4.5 引入其他 Shell

方法一：使用 .

#!/bin/bash
. firstshell.sh
echo \'your are in second file\'

方法二：使用 source

#!/bin/bash
source firstshell.sh
echo \'your are in second file\'

4.6 Shell 中的中断和继续

break，用于循环中，表示退出该层循环到上一层；

continue，用于循环中，表示结束本次循环，开始下次循环；

exit，用在任何地方，表示退出 shell 脚本；

return，用在函数中，表示返回，退出函数；

这几个命令与 C、Java 等语言中对应的关键字的作用一样。

4.7 命令 seq

seq - print a sequence of numbers，用于产生从某个数到另外一个数之间的所有整数。

语法格式为：

seq [选项] 尾数

seq [选项] 首数 尾数

seq [选项] 首数 增量 尾数

常用选项为：

-f, --format=格式 使用 printf 样式的浮点格式；

-s, --separator=字符串 使用指定字符串分隔数字（默认使用：\\n）；

-w, --equal-width 在列前添加 0 使得宽度相同；

[root@ryan shelltest]# seq 8
1
2
3
4
5
6
7
8

[root@ryan shelltest]# seq 3 8
3
4
5
6
7
8

[root@ryan shelltest]# seq 3 2 8
3
5
7

此处的 2 为增量，也被称为步长。

shell 示例

从 top 命令中提取出 time，cpu 百分比和使用的内存容量三种数据到三个不同的文本中，然后进行合并。

#! /bin/bash
## extract_time_cpu_memory.sh filename
## Extract the time, cpu and memory data from the top output file
## moonxy 2018-06-14

filename=$1
if [ -z "${filename}" ]
then
filename=/tmp/top.out
echo "default top output file name is : $filename"
fi

if [ ! -e "${filename}" ]
then
echo "Cann\'t find top output file : $filename, please check it"
exit 2
fi
echo "top output file is : $filename"

## Extract time data from the top output file
cat ${filename} | grep "top - " | cut -d \',\' -f 1 | awk \'{print $3}\' > /tmp/top_time.out

## Extract cpu data from the top output file
cat ${filename} | grep "%Cpu(s)" | cut -d \',\' -f 1 | awk \'{print $2}\' > /tmp/top_cpu.out

## Extract memeory data from the top output file
cat ${filename} | grep "KiB Mem" | cut -d \',\' -f 3 | awk \'{print $1}\' > /tmp/top_memory.out

## Add the time-cpu table head
echo \'Time,Cpu(%)\' > /tmp/time_cpu_memory.out

## Merge the data by one column mapping one column
paste -d\',\' /tmp/top_time.out /tmp/top_cpu.out >> /tmp/time_cpu_memory.out

## Append five lines for the result
echo >> /tmp/time_cpu_memory.out
echo >> /tmp/time_cpu_memory.out
echo >> /tmp/time_cpu_memory.out
echo >> /tmp/time_cpu_memory.out
echo >> /tmp/time_cpu_memory.out

## Add the time-memory table head
echo \'Time,Memory(Used KiB)\' >> /tmp/time_cpu_memory.out

## Append and then Merge the data by one column mapping one column
paste -d\',\' /tmp/top_time.out /tmp/top_memory.out >> /tmp/time_cpu_memory.out

echo \'result file name is : /tmp/time_cpu_memory.out\'
exit 0

注意：

1. 执行 shell 脚本时，事实上是会新开一个 shell 进程，然后逐行执行你的脚本，上面使用 exit 只是退出这个新开的 shell 进程，并不会影响系统原有 shell 环境。

2. return 仅能用于函数中或者使用 source a1.sh（或 . a1.sh）中使用，不能直接用于脚本中。

3. 追加空白行可使用：echo >> /tmp/time_cpu_uatdb.out