Big-data:Linux基础(03)

Posted 2021-02-03 kiddy-x

 

 

shell基础知识

什么是Shell

Shell是命令解释器(command interpreter)，是Unix操作系统的用户接口，程序从用户接口得到输入信息，shell将用户程序及其输入翻译成操作系统内核（kernel）能够识别的指令，并且操作系统内核执行完将返回的输出通过shell再呈现给用户，下图所示用户、shell和操作系统的关系：

 

Shell也是一门编程语言，即shell脚本，shell是解释执行的脚本语言，可直接调用linux命令。 .java -> .class

一个系统可以存在多个shell，可以通过cat /etc/shells命令查看系统中安装的shell，不同的shell可能支持的命令语法是不相同的

Shell种类

操作系统内核（kernel）与shell是独立的套件，而且都可被替换：

不同的操作系统使用不同的shell；

同一个kernel之上可以使用不同的shell。

常见的shell分为两大主流：

sh：

Bourne shell（sh） ,Solaris,hpux默认shell

Bourne again shell（bash） ,Linux系统默认shell

csh：

C shell(csh)

tc shell(tcsh)

查看使用Shell

 

Shell环境定义

临时环境变量

所谓临时变量是指在用户在当前登陆环境生效的变量，用户登陆系统后，直接在命令行上定义的环境变量便只能在当前的登陆环境中使用。当退出系统后，环境变量将不能下次登陆时继续使用。

 

将环境变量永久生效

通过将环境变量定义写入到配置文件中，用户每次登陆时系统自动定义，则无需再到命令行重新定义。定义环境变量的常见配置文件如下：

/etc/profile针对系统所有用户生效，此文件应用于所有用户每次登陆系统时的环境变量定义

$HOME_name/.bash_profile 针对特定用户生效，$HOME为用户的宿主目录，当用户登陆系统后，首先继承/etc/profile文件中的定义，再应用$HOME/.bash_profile文件中的定义。

系统预定义的环境变量

系统环境变量对所有用户有效，如：$PATH、$HOME、$SHELL、$PWD等等，如下用echo命令打印上述的系统环境变量：

 

shell脚本编程

同传统的编程语言一样，shell提供了很多特性，这些特性可以使你的shell脚本编程更为有用。

创建Shell脚本

一个shell脚本通常包含如下部分：

首行

第一行内容在脚本的首行左侧，表示脚本将要调用的shell解释器，内容如下：

#!/bin/bash

#！符号能够被内核识别成是一个脚本的开始，这一行必须位于脚本的首行，/bin/bash是bash程序的绝对路径，在这里表示后续的内容将通过bash程序解释执行。

注释

注释符号# 放在需注释内容的前面，如下：

 

内容

可执行内容和shell结构

 

Shell脚本的权限

一般情况下，默认创建的脚本是没有执行权限的

 

没有权限不能执行，需要赋予可执行权限

 

Shell脚本的执行

1 输入脚本的绝对路径或相对路径

       /root/helloWorld.sh

       ./helloWorld.sh

2 bash或sh +脚本

       bash /root/helloWorld.sh

       sh helloWorld.sh

注：当脚本没有x权限时，root和文件所有者通过该方式可以正常执行。

 

3 在脚本的路径前再加". " 或source

       source /root/helloWorld.sh

       . ./helloWorld.sh

区别：第一种和第二种会新开一个bash，不同bash中的变量无法共享

但是使用. ./脚本.sh 这种方式是在同一个shell里面执行的。

 

可以使用pstree查看

source eg.sh

Shell变量

变量：是shell传递数据的一种方式，用来代表每个取值的符号名。

当shell脚本需要保存一些信息时，如一个文件名或是一个数字，就把它存放在一个变量中。

变量设置规则：

1，变量名称可以由字母，数字和下划线组成，但是不能以数字开头，环境变量名建议大写，便于区分。

2，在bash中，变量的默认类型都是字符串型，如果要进行数值运算，则必须指定变量类型为数值型。

3，变量用等号连接值，等号左右两侧不能有空格。

4，变量的值如果有空格，需要使用单引号或者双引号包括。

变量分类

Linux Shell中的变量分为用户自定义变量,环境变量，位置参数变量和预定义变量。

可以通过set命令查看系统中存在的所有变量

系统变量：保存和系统操作环境相关的数据。$HOME、$PWD、$SHELL、$USER等等

位置参数变量：主要用来向脚本中传递参数或数据，变量名不能自定义，变量作用固定。

预定义变量：是Bash中已经定义好的变量，变量名不能自定义，变量作用也是固定的。

用户自定义变量

用户自定义的变量由字母或下划线开头，由字母，数字或下划线序列组成，并且大小写字母意义不同，变量名长度没有限制。

设置变量：

习惯上用大写字母来命名变量。变量名以字母表示的字符开头，不能用数字。

变量调用

在使用变量时，要在变量名前加上前缀“$”.

使用echo 命令查看变量值。eg:echo $A

变量赋值：

1,定义时赋值：

变量＝值

等号两侧不能有空格

eg:

STR="hello world"

A=9

 

2, 将一个命令的执行结果赋给变量

A=`ls -la` 反引号，运行里面的命令，并把结果返回给变量A

A=$(ls -la) 等价于反引号

eg: aa=$((4+5))

bb=`expr 4 + 5 `

3，将一个变量赋给另一个变量

eg: A=$STR

变量叠加

eg:#aa=123

eg:#cc="$aa"456

eg:#dd=${aa}789

 

单引号和双引号的区别：

现象：单引号里的内容会全部输出，而双引号里的内容会有变化

原因：单引号会将所有特殊字符脱意

NUM=10    

SUM="$NUM hehe"     echo $SUM     输出10 hehe

SUM2=‘$NUM hehe‘     echo $SUM2    输出$NUM hehe

列出所有的变量：

# set

删除变量：

#unset  NAME

eg :

# unset A 撤销变量 A

# readonly B=2 声明静态的变量 B=2 ，不能 unset

 

用户自定义的变量，作用域为当前的shell环境。

 

环境变量

用户自定义变量只在当前的shell中生效，而环境变量会在当前shell和其所有子shell中生效。如果把环境变量写入相应的配置文件，那么这个环境变量就会在所有的shell中生效。

export 变量名=变量值   申明变量

作用域：当前shell以及所有的子shell

位置参数变量

$n	n为数字，$0代表命令本身，$1-$9代表第一到第9个参数, 十以上的参数需要用大括号包含，如${10}。
$*	代表命令行中所有的参数，把所有的参数看成一个整体。以"$1 $2 … $n"的形式输出所有参数
[email protected]	代表命令行中的所有参数，把每个参数区分对待。以"$1" "$2" … "$n" 的形式输出所有参数
$#	代表命令行中所有参数的个数。添加到shell的参数个数

 

shift指令：参数左移，每执行一次，参数序列顺次左移一个位置，$#的值减1，用于分别处理每个参数，移出去的参数不再可用

$* 和 [email protected]的区别

$* 和 [email protected] 都表示传递给函数或脚本的所有参数，不被双引号" "包含时，都以"$1" "$2" … "$n" 的形式输出所有参数

当它们被双引号" "包含时，"$*" 会将所有的参数作为一个整体，以"$1 $2 … $n"的形式输出所有参数；"[email protected]" 会将各个参数分开，以"$1" "$2" … "$n" 的形式输出所有参数

shell脚本中执行测试：

 

输出结果：

 

 

预定义变量

$?	执行上一个命令的返回值   执行成功，返回0，执行失败，返回非0（具体数字由命令决定）
$$	当前进程的进程号（PID），即当前脚本执行时生成的进程号
$!	后台运行的最后一个进程的进程号（PID），最近一个被放入后台执行的进程&

# vi pre.sh

pwd>/dev/null

echo $$

 

ls /etc>/dev/null &

echo $!

read命令

read [选项] 值

read -p(提示语句)-n(字符个数) -t(等待时间，单位为秒) –s(隐藏输入)

eg:

read–t 30 –p “please input your name: ” NAME

echo $NAME

read–s–p “please input your age : ” AGE

echo $AGE

read–n 1 –p “please input your sex  [M/F]: ”GENDER

echo $GENDER

运算符

num1=11

num2=22

sum=$num1+$num2

echo $sum

格式 :expr m + n 或$((m+n)) 注意expr运算符间要有空格

expr命令：对整数型变量进行算术运算

(注意：运算符前后必须要有空格) 

expr 3 + 5   
expr 3 – 5

echo `expr 10 / 3`           

10/3的结果为3，因为是取整
expr  3 * 10    

是转义符

计算（2 ＋3 ）×4 的值

1 .分步计算
       S=`expr 2 + 3`
       expr $S * 4

2.一步完成计算

       expr `expr 2 + 3` * 4

       S=`expr `expr 2 + 3`  * 4`

       echo$S

       或

       echo$(((2 + 3) * 4))

$()与${}的区别

$( )的用途和反引号``一样，用来表示优先执行的命令

eg:echo$(ls a.txt)

${ } 就是取变量了  eg：echo ${PATH}

$((运算内容)) 适用于数值运算

eg:echo $((3+1*4))

条件测试

内置test命令

内置test命令常用操作符号[]表示，将表达式写在[]中，如下：

[expression ] 

或者：

test expression

注意：expression首尾都有个空格

eg: [  ] ;echo $?

测试范围：整数、字符串、文件

表达式的结果为真，则test的返回值为0，否则为非0。

当表达式的结果为真时，则变量$?的值就为0，否则为非0

 

字符串测试：

test  str1==str2    测试字符串是否相等 =

test  str1!=str2    测试字符串是否不相等
test  str1            测试字符串是否不为空,不为空，true，false
test  -n str1     测试字符串是否不为空
test  -z  str1    测试字符串是否为空

eg:

name=linzhiling

[ “$name” ] && echo ok

； 命令连接符号

&& 逻辑与 条件满足，才执行后面的语句

[ -z “$name”]&&echo  invalid || echo ok

||  逻辑或，条件不满足，才执行后面的语句

test “$name”==”yangmi”&& echo ok  || echo  invalid

 

整数测试:

test   int1 -eq  int2    测试整数是否相等 equals
test   int1 -ge  int2    测试int1是否>=int2
test   int1 -gt  int2    测试int1是否>int2
test   int1 -le  int2    测试int1是否<=int2
test   int1 -lt  int2    测试int1是否<int2
test   int1 -ne  int2    测试整数是否不相等

eg:

test 100 –gt 100

test 100 –ge 100

如下示例两个变量值的大小比较：

 

-gt表示greater than大于的意思，-le表示less equal表示小于等于。

 

 

文件测试：

test  -d  file      指定文件是否目录

test  –e  file     文件是否存在 exists
test  -f  file     指定文件是否常规文件
test –L File     文件存在并且是一个符号链接 

test  -r  file    指定文件是否可读
test  -w  file    指定文件是否可写

test  -x  file    指定文件是否可执行

 

 

eg:

test -d  install.log

test–r install.log

test–f xx.log ; echo $?

[ -L service.soft  ] && echo “is a link”

test -L /bin/sh ;echo $?

[ -f /root ] && echo “yes” || echo “no”

多重条件测试：

条件1 –a 条件2 逻辑与  两个都成立，则为真

条件1 –o 条件2 逻辑或        只要有一个为真，则为真

！条件                 逻辑非   取反

eg:

num=520

[ -n “$num”–a “$num”–ge520 ] &&echo “marry you” || echo “go on”

age=20

pathname=outlog

[ !-d“$pathname”]&&echousable || echo  used

流程控制语句

if/else命令

1， 单分支if条件语句

if [ 条件判断式 ]

    then

        程序

fi 

或者

if [ 条件判断式 ] ; then 

    程序

fi

eg:#!/bin/sh

if  [ -x  /etc/rc.d/init.d/httpd ]

    then

    /etc/rc.d/init.d/httpd restart

fi

单分支条件语句需要注意几个点

if语句使用fi结尾，和一般语言使用大括号结尾不同。

[ 条件判断式 ] 就是使用test命令判断，所以中括号和条件判断式之间必须有空格

then后面跟符号条件之后执行的程序，可以放在[]之后，用“;”分割，也可以换行写入，就不需要"；"了。

2,多分支if条件语句

if [ 条件判断式1 ]

    then

        当条件判断式1成立时，执行程序1

elif [ 条件判断式2 ]

    then      

        当条件判断式2成立时，执行程序2

...省略更多条件

else

    当所有条件都不成立时，最后执行此程序

fi

示例：

read -p "please input your name: " NAME

eg:

#!/bin/bash

read -p "please input your name:"NAME

#echo  $NAME

if [ “$NAME” == root ]

then

echo "hello ${NAME},  welcome !"

elif [ $NAME == tom ]

then

echo "hello ${NAME},  welcome !"

else

echo "SB, get out here !"

fi

case命令

case命令是一个多分支的if/else命令，case变量的值用来匹配value1,value2,value3等等。匹配到后则执行跟在后面的命令直到遇到双分号为止(;;)case命令以esac作为终止符。

格式

       CMD=$1

case $CMD in

start)

       echo "starting"

       ;;

Stop)

       echo "stoping"

       ;;

*)

       echo "Usage: {start|stop} “

esac

for循环

for循环命令用来在一个列表条目中执行有限次数的命令。比如，你可能会在一个姓名列表或文件列表中循环执行同个命令。for命令后紧跟一个自定义变量、一个关键字in和一个字符串列表（可以是变量）。第一次执行for循环时，字符串列表中的第一个字符串会赋值给自定义变量，然后执行循环命令，直到遇到done语句；第二次执行for循环时，会右推字符串列表中的第二个字符串给自定义变量，依次类推，直到字符串列表遍历完。

第一种：

for N in 1 2 3

do

echo $N

done

或

for N in 1 2 3; do echo $N; done

或

for N in {1..3}; do echo $N; done

第二种：

for ((i = 0; i<= 5; i++))

do

echo "welcome $i times"

done

或

for ((i = 0; i<= 5; i++)); do echo "welcome $i times"; done

练习：计算从1到100的加和。

 

while循环

while命令根据紧跟其后的命令(command)来判断是否执行while循环，当command执行后的返回值(exit status)为0时，则执行while循环语句块，直到遇到done语句，然后再返回到while命令，判断command的返回值，当得打返回值为非0时，则终止while循环。

第一种

while expression

do

command

…

done

练习：求1-10 各个数的平方和

 

第二种方式：

 

自定义函数

函数代表着一个或一组命令的集合，表示一个功能模块，常用于模块化编程。

以下是关于函数的一些重要说明：                                

在shell中，函数必须先定义，再调用

使用return value来获取函数的返回值

函数在当前shell中执行，可以使用脚本中的变量。

函数的格式如下：

函数名()

{

命令1…..

命令2….

return 返回值变量

}

[ function ] funname [()]

{

  action;

  [returnint;]

}

function start()  / function start / start()

eg:

 

注意：

如果函数名后没有（），在函数名和{ 之间，必须要有空格以示区分。

函数返回值，只能通过$? 系统变量获得，可以显示加：return 返回值，如果不加，将以最后一条命令运行结果，作为返回值。 return后跟数值n(0-255)

脚本调试

sh -x script
这将执行该脚本并显示所有变量的值。

在shell脚本里添加  

set -x  对部分脚本调试
sh -n script
不执行脚本只是检查语法的模式，将返回所有语法错误。

sh–v script

执行并显示脚本内容

 

 

awk和sed

cut [选项]  文件名        默认分割符是制表符

选项：

    -f 列号：    提取第几列

    -d 分隔符：    按照指定分隔符分割列

 

eg:#cut -f  2  aa.txt   提取第二列

eg:#cut -d ":" -f 1,3 /etc/passwd  以:分割，提取第1和第3列

eg:#cat /etc/passwd | grep /bin/bash | grep -v root | cut -d ":" -f 1    获取所有可登陆的普通用户用户名

cut的局限性    不能分割空格   df -h  不能使用cut分割

df -h | grep sda1 | cut -f 5

 

awk

一个强大的文本分析工具

把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

语法：awk ‘条件1{动作1}条件2{动作2}...’文件名

条件（Pattern）:

一般使用关系表达式作为条件： >   >=  <=等

动作（Action）：

格式化输出

流程控制语句

eg:#df -h | awk ‘{print $1 " " $3}‘      显示第一列和第三列

FS内置变量

eg:# cat /etc/passwd | grep "/bin/bash" | awk ‘BEGIN {FS=":"} {print $1 " "$3 }‘    输出可登陆用户的用户名和UID,这里使用FS内置变量指定分隔符为：,而且使用BEGIN保证第一行也操作，因为awk命令会在读取第一行后再执行条件

指定分隔符还可以用-F更简单

eg:# cat /etc/passwd | grep "/bin/bash" | awk -F:  ‘{print $1 " "$3 }‘   效果同上

eg:判断一下根目录的使用情况

#df -h |grep sda1 | awk ‘{print $5}‘ | awk -F% ‘{print $1} $1<80{print "info"}$1>80{print "warning"}‘

BEGIN在所有数据读取之前执行

eg：#awk ‘BEGIN {printf "first Line "} {printf $2 }‘ aa.txt     在输出之前使用BEGIN输出内容

 

END 在所有数据执行之后执行

eg：#awk ‘END {printf "The End "} {print $2}‘ aa.txt   所有命令执行完后，输出一句"The End"

# df -h | grep sda2 | awk ‘{print $5}‘ | awk -F% ‘{print $1}‘

# df -h | grep sda2 | awk ‘{print $5}‘ | cut -d"%" -f 1

获取所有用户信息里的用户名：

cat /etc/passwd | awk -F: ‘{print $1}‘

awk -F: ‘{print $1}‘ /etc/passwd

获取当前机器的ip地址：

# ifconfig eth0 | grep ‘inetaddr‘ | awk -F: ‘{print $2}‘ | awk ‘{print $1}‘

 

sed： stream editor 

s e d是一个非交互性文本流编辑器。它编辑文件或标准输入导出的文本拷贝。标准输入可 能是来自键盘、文件重定向、字符串或变量，或者是一个管道的文本。

注意： s e d 并不与初始化文件打交道， 它操作的只是一个拷贝，然后所有的改动如果没有重定向到一个文件，将输出到屏幕。

语法：sed [选项]’[动作]’ 文件名

常用选项:

-n　　使用安静（silent）模式。显示经过sed特殊处理的数据。

-e　　允许多点编辑。

-i　　直接修改读取的档案内容，而不是由屏幕输出。

命令	功能描述
a	新增， a 的后面可以接字串，在下一行出现
c	替换
d	删除
i	插入， i 的后面可以接字串
p	打印
s	查找并替换，例如 1,20s/old/new/g

 

eg:

sed ‘2p‘ sed.txt 显示第二行和所有数据

sed -n ‘2,3p‘ sed.txt   显示第二和第三行

df -h | sed -n ‘1p‘     接收命令结果数据

sed‘2aliuyifei’sed.txt 在第二行后面添加数据

sed‘4ifengjie

canglaoshi’sed.txt 在第4行之前添加两行数据

sed‘2c this is replace’sed.txt 替换第二行数据

sed‘s/it/edu360/g’ sed.txt  把sed.txt文件中的it替换为edu360,并输出

sed -e ‘1s/1/34/g;3s/yangmi//g‘ sed.txt        同时进行多个替换

sed–i ‘s/it/edu360/g’ sed.txt   要想真正替换，需要使用-i参数

 

使用sed获取机器的ip地址

ifconfig eth0 | grep ‘inetaddr‘| sed ‘s/^.*addr://g‘ | sed ‘s/  Bcast.*$//g‘

 

定时器

crontab 命令允许用户提交、编辑或删除相应的作业。每一个用户都可以有一个crontab 文件来保存调度信息。可以使用它运行任意一个 s h e l l 脚本或某个命令。

crontab命令格式

作用：用于生成cron进程所需要的crontab文件
crontab的命令格式

# crontab-e  

使用编辑器编辑当前的crontab文件。

  crontab文件格式
minute hour  day-of-month  month-of-year  day-of-week  commands

分<>时<>日<>月<>星期<>要运行的命令     <>表示空格

其中
    Minute              一小时中的哪一分钟     [0～59] 
    hour                  一天中的哪个小时        [0～23] 
    day-of-month    一月中的哪一天           [1～31] 
    month-of-year   一年中的哪一月           [1～12] 
    day-of-week      一周中的哪一天           [0～6]     0表示星期天
    commands         执行的命令 

 

书写注意事项
1,全都不能为空，必须填入，不知道的值使用通配符*表示任何时间
2,每个时间字段都可以指定多个值，不连续的值用,间隔，连续的值用-间隔。
3,命令应该给出绝对路径
4,用户必须具有运行所对应的命令或程序的权限

如何使用crontab 运行多个任务:

方法1：在crontab -e 里 写多个

输入命令  crontab–e 

敲回车

 

开始编写任务：

 

方法2：把所有的任务，写入到一个可执行的文件

再在crontab -e里面配置执行任务

 

分钟   小时   天   月   星期   命令/脚本

示例：

eg:4点备份

0      4        *      *     *

 

eg:每周二，周五，下午6点  的计划任务

0     18       *      *     2,5

 

eg:1到3月份，每周二周五，下午6点的计划任务

0     18       *     1-3   2,5

 

eg:周一到周五下午，5点半提醒学生15分钟后关机

30   17      *       *     1-5   /usr/bin/wall < /etc/issue

45   17      *       *     1-5  /sbin/shutdown -h now

 

eg:学校的计划任务， 12点14点，检查apache服务是否启动

*/2  12-14  *   3-6,9-12   1-5   

eg:再添加一个备份，把/etc目录备份到/backup下，然后把错误的情况也记录下来，正确的文件都丢到/dev/null下，看不见（相当于一个黑洞）

*/2  12-14  *   3-6,9-12   1-5   /bin/cp -r /etc  /backup/etc.20170407 2> /backup/etc.bak.err 

/dev/null

 

eg:每月 1、1 0、2 2日的4:45运行/apps/bin目录下的backup.sh

45  4  1,10,22  *  * /apps/bin/backup.sh

 

eg:每周六、周日的 1 : 10运行一个find命令

10  1  *  *  6,0  /bin/find -name "core" -exec rm {} ;

 

eg:在每天 18:00至23 :00之间每隔30分钟运行/apps/bin目录下的dbcheck.sh

0,30  18-23  *  *  * /apps/bin/dbcheck.sh

 

eg:每星期六的 11:00 pm运行/apps/bin目录下的qtrend.sh

0  23  *  *  6  /apps/bin/qtrend.sh