Shell编程基础篇-上
Posted 惨绿少年@clsn.io
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Shell编程基础篇-上相关的知识，希望对你有一定的参考价值。
1.1 前言
1.1.1 为什么学Shell
Shell脚本语言是实现Linux/UNIX系统管理及自动化运维所必备的重要工具， Linux/UNIX系统的底层及基础应用软件的核心大都涉及Shell脚本的内容。每一个合格 的Linux系统管理员或运维工程师，都需要能够熟练地编写Shell脚本语言，并能够阅 读系统及各类软件附带的Shell脚本内容。只有这样才能提升运维人员的工作效率，适 应曰益复杂的工作环境，减少不必要的重复工作，从而为个人的职场发展奠定较好的基础
1.1.2 什么是shell
Shell是一个命令解释器，它在操作系统的最外层，负责直接与用户对话，把用户的输入解释给操作系统，并处理各种各样的操作系统的输出结果，输出屏幕返回给用户。
这种对话方式可以是：
交互的方式：从键盘输入命令，通过/bin/bash的解析，可以立即得到Shell的回应
[root@clsn ~]# ls anaconda-ks.cfg [root@clsn ~]# echo ls |bash anaconda-ks.cfg
非交互的方式: 脚本
1.1.3 什么是Shell脚本
命令、变量和流程控制语句等有机的结合起来
shell脚本擅长处理纯文本类型的数据，而linux中，几乎所有的配置文件，日志，都是纯文本类型文件
1.1.4 脚本语言的种类
一、编译型语言
定义：指用专用的编译器，针对特定的操作平台（操作系统）将某种高级语言源代码一次性翻译成可被硬件平台直接运行的二进制机器码（具有操作数，指令、及相应的格式），这个过程叫做编译（./configure make makeinstall ）；编译好的可执行性文件（.exe），可在相对应的平台上运行（移植性差，但运行效率高）。。
典型的编译型语言有， C语言、C++等。
另外，Java语言是一门很特殊的语言，Java程序需要进行编译步骤，但并不会生成特定平台的二进制机器码，它编译后生成的是一种与平台无关的字节码文件（*.class）（移植性好的原因），这种字节码自然不能被平台直接执行，运行时需要由解释器解释成相应平台的二进制机器码文件；大多数人认为Java是一种编译型语言，但我们说Java即是编译型语言，也是解释型语言也并没有错。
二、解释型语言
定义：指用专门解释器对源程序逐行解释成特定平台的机器码并立即执行的语言；相当于把编译型语言的编译链接过程混到一起同时完成的。
解释型语言执行效率较低，且不能脱离解释器运行，但它的跨平台型比较容易，只需提供特定解释器即可。
常见的解释型语言有， Python（同时是脚本语言）与Ruby等。
三、脚本语言
定义：为了缩短传统的编写-编译-链接-运行（edit-compile-link-run）过程而创建的计算机编程语言。
特点：程序代码即是最终的执行文件，只是这个过程需要解释器的参与，所以说脚本语言与解释型语言有很大的联系。脚本语言通常是被解释执行的，而且程序是文本文件。
典型的脚本语言有，javascript，Python，shell等。
其他常用的脚本语句种类
PHP是网页程序，也是脚本语言。是一款更专注于web页面开发（前端展示）的脚本语言，例如：Dedecms,discuz。php程序也可以处理系统日志，配置文件等，php也可以调用系统命令。
Perl脚本语言。比shell脚本强大很多，语法灵活、复杂，实现方式很多，不易读，团队协作困难，但仍不失为很好的脚本语言，存世大量的程序软件。MHA高可用Perl写的
Python，不但可以做脚本程序开发，也可以实现web程序以及软件的开发。近两年越来越多的公司都会要求会Python。
Shell脚本与php/perl/python语言的区别和优势？
shell脚本的优势在于处理操作系统底层的业务 （linux系统内部的应用都是shell脚本完成）因为有大量的linux系统命令为它做支撑。2000多个命令都是shell脚本编程的有力支撑，特别是grep、awk、sed等。例如：一键软件安装、优化、监控报警脚本，常规的业务应用，shell开发更简单快速，符合运维的简单、易用、高效原则.
PHP、Python优势在于开发运维工具以及web界面的管理工具，web业务的开发等。处理一键软件安装、优化，报警脚本。常规业务的应用等php/python也是能够做到的。但是开发效率和复杂比用shell就差很多了。
系统环境说明
[root@clsn scripts]# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) [root@clsn scripts]# uname -r 3.10.0-693.el7.x86_64 [root@clsn scripts]# getenforce Disabled [root@clsn scripts]# systemctl status firewalld.service ● firewalld.service - firewalld - dynamic firewall daemon Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled) Active: inactive (dead) Docs: man:firewalld(1)
1.1.5 系统中的shell
查看系统中的命解释器
[root@clsn ~]# cat /etc/shells /bin/sh /bin/bash /sbin/nologin /usr/bin/sh /usr/bin/bash /usr/sbin/nologin
常用操作系统的默认shell
1.Linux是Bourne Again shell（bash）
2.Solaris和FreeBSD缺省的是Bourne shell（sh）
3.AIX下是Korn Shell（ksh）
4.HP-UX缺省的是POSIX shell（sh）
[root@clsn ~]# echo $SHELL /bin/bash
bash版本
[root@clsn scripts]# bash -version GNU bash， 版本 4.2.46(2)-release (x86_64-redhat-linux-gnu) Copyright (C) 2011 Free Software Foundation, Inc. 许可证 GPLv3+: GNU GPL 许可证版本3或者更高 <http://gnu.org/licenses/gpl.html> 这是自由软件，您可以自由地更改和重新发布。 在法律允许的范围内没有担保.
bash 破壳漏洞
使用 命令 env x=\'() { :;}; echo be careful\' bash -c "echo this is a test" 如果返回结果为一行，则为正常， [root@clsn ~]# env x=\'() { :;}; echo be careful\' bash -c "echo this is a test" this is a test #解决办法 升级当前的bash版本 yum install update bash
sh与bash 的关系
[root@clsn ~]# ll /bin/sh lrwxrwxrwx. 1 root root 4 11月 13 11:15 /bin/sh -> bash
/bin与 /user/bin 的关系
[root@clsn ~]# ll /bin -d lrwxrwxrwx. 1 root root 7 11月 13 11:15 /bin -> usr/bin
1.2 脚本书写规范
1.2.1 脚本统一存放目录
[root@clsn ~]# mkdir -p /server/scripts/ [root@clsn ~]# cd /server/scripts/
1.2.2 选择解释器
注意格式 ↓
其中开头的"#!"字符又称为幻数，在执行bash脚本的时候，内核会根据"#!"后的解释器来确定该用那个程序解释这个脚本中的内容。
[root@clsn scripts]# head -1 /etc/init.d/* ==> /etc/init.d/functions <== # -*-Shell-script-*- ==> /etc/init.d/netconsole <== #!/bin/bash ==> /etc/init.d/network <== #! /bin/bash
1.2.3 编辑脚本使用vim
使用 .vimrc 文件，能够快速的生成开头的注释信息
[root@clsn scripts]# cat ~/.vimrc autocmd BufNewFile *.py,*.cc,*.sh,*.java exec ":call SetTitle()" func SetTitle() if expand("%:e") == \'sh\' call setline(1,"#!/bin/bash") call setline(2, "##############################################################") call setline(3, "# File Name: ".expand("%")) call setline(4, "# Version: V1.0") call setline(5, "# Author: clsn") call setline(6, "# Organization: http://blog.znix.top") call setline(7, "# Created Time : ".strftime("%F %T")) call setline(8, "# Description:") call setline(9, "##############################################################") call setline(10, "") endif endfunc
使用后的效果
[root@clsn scripts]# cat scripts_test.sh #!/bin/bash ############################################################## # File Name: scripts_test.sh # Version: V1.0 # Author: clsn # Organization: http://blog.znix.top # Created Time : 2017-12-04 11:39:57 # Description: First scripts file ##############################################################
在Shell脚本中，跟在#后面的内容表示注释。注释部分不会被执行，仅给人看。注释可以自成一行，也可以跟在命令后面，与命令同行。要养成写注释的习惯，方便自己与他人。
最好不用中文注释，因为在不同字符集的系统会出现乱码。(字符集为zh_CN.UTF-8,为中文)。
1.2.4 文件名规范
名字要有意义，并且结尾以 .sh 结束
1.2.5 开发的规范和习惯小结
1) 放在统一的目录
2) 脚本以.sh为扩展名
3) 开头指定脚本解释器。
4) 开头加版本版权等信息，可配置~/.vimrc文件自动添加。
5) 脚本不要用中文注释，尽量用英文注释。
6) 代码书写优秀习惯
a、成对的内容一次性写出来，防止遗漏，如[ ]、\' \'、" "等
b、[ ]两端要有空格，先输入[ ],退格，输入2个空格，再退格写。
c、流程控制语句一次书写完，再添加内容。(if 条件 ; then 内容;fi)ddd
d、通过缩进让代码易读。
f、脚本中的引号都是英文状态下的引号，其他字符也是英文状态。
1.3 shell脚本的执行
1.3.1 执行脚本的办法
sh/bash scripts.sh chown +x ./scripts.sh && ./scripts.sh source scripts.sh . (空格) scripts.sh cat oldboyedu.sh |bash # 效率较低
source 与 . （点） 的作用
soucre命令
[root@clsn ~]# help source |head -2 source: source 文件名 [参数] 在当前 shell 中执行一个文件中的命令。
. (点)
[root@clsn scripts]# help . |head -2 .: . 文件名 [参数] 在当前 shell 中执行一个文件中的命令。
1.3.2 sh 于 source的区别
[root@clsn scripts]# sh clsn_test.sh Hello World! [root@clsn scripts]# echo $clsn # sh 新建一个Shell窗口（新建一个进程）执行一个文件中的命令。 [root@clsn scripts]# source clsn_test.sh Hello World! [root@clsn scripts]# echo $clsn Hello World!
面试题：
问sh test.sh后echo $user返回的结果__空_ ?
[root@oldboy scripts]# cat test.sh #!/bin/bash user=`whoami`
1.4 Shell的变量
1.4.1 什么是变量
变量可以分为两类：环境变量（全局变量）和普通变量（局部变量）
环境变量也可称为全局变量，可以在创建他们的Shell及其派生出来的任意子进程shell中使用，环境变量又可分为自定义环境变量和Bash内置的环境变量
普通变量也可称为局部变量，只能在创建他们的Shell函数或Shell脚本中使用。普通变量一般是由开发者用户开发脚本程序时创建的。
特殊变量
1.4.2 环境变量
使用 env/declare/set/export -p 命令查看系统中的环境变量，这三个命令的的输出方式稍有不同。
[root@clsn scripts]# env XDG_SESSION_ID=1 HOSTNAME=clsn TERM=linux SHELL=/bin/bash HISTSIZE=1000 SSH_CLIENT=10.0.0.1 5537 22 SSH_TTY=/dev/pts/0 USER=root ~~~
输出一个系统中的 环境变量
[root@clsn ~]# echo $LANG zh_CN.UTF-8
1.4.3 普通变量
本地变量在用户当前的Shell生存期的脚本中使用。例如，本地变量OLDBOY取值为bingbing，这个值在用户当前Shell生存期中有意义。如果在Shell中启动另一个进程或退出，本地变量值将无效
定义普通变量实践
[root@clsn ~]# a=1 [root@clsn ~]# b=\'2\' [root@clsn ~]# c="3" [root@clsn ~]# echo "$a" 1 [root@clsn ~]# echo "$b" 2 [root@clsn ~]# echo "${c}"
提示：$变量名表示输出变量，可以用$c和${c}两种用法
小结：连续普通字符串内容赋值给变量，不管用什么引号或者不用引号，它的内容是什么，打印变量就输出什么
1.4.4 export命令
[root@clsn ~]# help export export: export [-fn] [名称[=值] ...] 或 export -p 为 shell 变量设定导出属性。 标记每个 NAME 名称为自动导出到后续命令执行的环境。如果提供了 VALUE 则导出前将 VALUE 作为赋值。
export命令的说明
当前shell窗口及子shell窗口生效
在新开的shell窗口不会生效，生效需要写入配置文件
# 定义变量
[root@clsn scripts]# CSLN=clsn [root@clsn scripts]# export CSLN1=1
# 当前窗口查看
[root@clsn scripts]# echo $CSLN clsn [root@clsn scripts]# echo $CSLN1 1
# 编写测试脚本
[root@clsn scripts]# vim quanju.sh #!/bin/bash echo $CSLN echo $CSLN1
# 使用sh执行
[root@clsn scripts]# sh quanju.sh 1
# 使用source 执行
[root@clsn scripts]# source quanju.sh clsn 1
1.4.5 环境变量相关配置文件
/etc/proflie
/etc/bashrc
~/.bashrc
~/.bash_profile
/etc/proflie.d/ # 目录
四文件读取顺序（CentOS6和7都一样）
① /etc/profile
② ~/.bash_profile
③ ~/.bashrc
④ /etc/bashrc
文件读取过程示意图
验证四文件读取顺序的方法
sed -i \'1a echo "$(date +%T-%s) /etc/profile1" >>/tmp/clsn\' /etc/profile sed -i \'$a echo "$(date +%T-%s) /etc/profile2" >>/tmp/clsn\' /etc/profile sed -i \'1a echo "$(date +%T-%s) /etc/bashrc1" >>/tmp/clsn\' /etc/bashrc sed -i \'$a echo "$(date +%T-%s) /etc/bashrc2" >>/tmp/clsn\' /etc/bashrc sed -i \'1a echo "$(date +%T-%s) ~/.bashrc1" >>/tmp/clsn\' ~/.bashrc sed -i \'$a echo "$(date +%T-%s) ~/.bashrc2" >>/tmp/clsn\' ~/.bashrc sed -i \'1a echo "$(date +%T-%s) ~/.bash_profile1" >>/tmp/clsn\' ~/.bash_profile sed -i \'$a echo "$(date +%T-%s) ~/.bash_profile2" >>/tmp/clsn\' ~/.bash_profile
1.4.6 环境变量的知识小结
ü 变量名通常要大写。
ü 变量可以在自身的Shell及子Shell中使用。
ü 常用export来定义环境变量。
ü 执行env默认可以显示所有的环境变量名称及对应的值。
ü 输出时用“$变量名”，取消时用“unset变量名”。
ü 书写crond定时任务时要注意，脚本要用到的环境变量最好先在所执行的Shell脚本中重新定义。
ü 如果希望环境变量永久生效，则可以将其放在用户环境变量文件或全局环境变量文件里。
1.4.7 变量中引号的使用
只有在变量的值中有空格的时候，会使用引号。
单引号与双引号的区别在于，是否能够解析特殊符号。
[root@clsn ~]# name=znix [root@clsn ~]# name2=\'clsn\' [root@clsn ~]# name3="http://blog.znix.top" [root@clsn ~]# echo $name znix [root@clsn ~]# echo $name2 clsn [root@clsn ~]# echo $name3 http://blog.znix.top [root@clsn ~]# name4=\'cl sn\' [root@clsn ~]# echo $name4 cl sn [root@clsn ~]# name5="cl sn" [root@clsn ~]# echo $name5 cl sn [root@clsn ~]# name6=\'cl sn $PWD\' [root@clsn ~]# echo $name6 cl sn $PWD [root@clsn ~]# name6="cl sn $PWD" [root@clsn ~]# echo $name6 cl sn /root
1.4.8 普通变量的要求
1) 内容是纯数字、简单的连续字符（内容中不带任何空格）时，定义时可以不加任何引号，例如：
a.ClsnAge=22
b.NETWORKING=yes
2) 没有特殊情况时，字符串一律用双引号定义赋值，特别是多个字符串中间有空格时，例如：
a.NFSD_MODULE="no load"
b.MyName="Oldboy is a handsome boy."
3) 当变量里的内容需要原样输出时，要用单引号（M），这样的需求极少，例如：
a.OLDBOY_NAME=\'OLDBOY\'
变量使用反引号赋值
[root@clsn scripts]# time=`date` [root@clsn scripts]# echo $time 2017年 12月 05日 星期二 09:02:06 CST [root@clsn scripts]# file=`ls` [root@clsn scripts]# echo $file clsn_test.sh panduan.sh quanju.sh yhk.sh
使用${}
打印变量的时候防止出现“金庸新著”的问题
[root@clsn scripts]# time=`date` [root@clsn scripts]# echo $time_day [root@clsn scripts]# echo ${time}_day 2017年 12月 05日 星期二 09:02:06 CST_day [root@clsn scripts]# echo $time-day 2017年 12月 05日 星期二 09:02:06 CST-day
编写脚本测试${}
# 使用脚本测试 [root@clsn scripts]# vim bianliang.sh #!/bin/bash ############################################################# # File Name: bianliang.sh # Version: V1.0 # Author: clsn # Organization: http://blog.znix.top # Created Time : 2017-12-05 09:10:29 # Description: ############################################################# time=`date` echo $timeday echo ${time}day [root@clsn scripts]# sh bianliang.sh 2017年 12月 05日 星期二 09:11:19 CSTday
1.4.9 定义变量名技巧
1. 变量名只能为字母、数字或下划线，只能以字母或下划线开头。
2. 变量名的定义要有一定的规范，并且要见名知意。
示例：
ClsnAge=22 #<==每个单词的首字母大写的写法
clsn_age=22 #<==单词之间用"_"的写法
clsnAgeSex=man #<==驼峰语法：首个单词的首字母小写，其余单词首字母大写
CLSNAGE=22 #<==单词全大写的写法
3. 一般的变量定义、赋值常用双引号；简单连续的字符串可以不加引号；希望原样输出时使用单引号。
4. 希望变量的内容是命令的解析结果时，要用反引号\'\'，或者用$()把命令括起来再赋值。
1.5 特殊变量
1.5.1 位置变量
常用的特殊位置参数说明
|
位置变量 |
作用说明 |
|
$0 |
获取当前执行的shell脚本的文件名，如果执行脚本带路径那么就包括脚本路径。 |
|
$n |
获取当前执行的shell脚本的第n个参数值，n=1..9，当n为0时表示脚本的文件名，如果n大于9用大括号括起来{10}，参数以空格隔开。 |
|
$# |
获取当前执行的shell脚本后面接的参数的总个数 |
|
$* |
第17篇 shell编程基础 |