Big-data:Linux基础(03)

Posted kiddy-x

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Big-data:Linux基础(03)相关的知识,希望对你有一定的参考价值。

 

 

shell基础知识

什么是Shell

Shell是命令解释器(command interpreter),是Unix操作系统的用户接口,程序从用户接口得到输入信息,shell将用户程序及其输入翻译成操作系统内核(kernel)能够识别的指令,并且操作系统内核执行完将返回的输出通过shell再呈现给用户,下图所示用户、shell和操作系统的关系:

 

Shell也是一门编程语言,即shell脚本,shell是解释执行的脚本语言,可直接调用linux命令。 .java -> .class

一个系统可以存在多个shell,可以通过cat /etc/shells命令查看系统中安装的shell,不同的shell可能支持的命令语法是不相同的

Shell种类

操作系统内核(kernel)与shell是独立的套件,而且都可被替换:

不同的操作系统使用不同的shell;

同一个kernel之上可以使用不同的shell。

常见的shell分为两大主流:

sh

Bourne shell(sh) ,Solaris,hpux默认shell

Bourne again shell(bash) ,Linux系统默认shell

csh

C shell(csh)

tc shell(tcsh)

查看使用Shell

 

Shell环境定义

临时环境变量

所谓临时变量是指在用户在当前登陆环境生效的变量,用户登陆系统后,直接在命令行上定义的环境变量便只能在当前的登陆环境中使用。当退出系统后,环境变量将不能下次登陆时继续使用。

 

将环境变量永久生效

通过将环境变量定义写入到配置文件中,用户每次登陆时系统自动定义,则无需再到命令行重新定义。定义环境变量的常见配置文件如下:

/etc/profile针对系统所有用户生效,此文件应用于所有用户每次登陆系统时的环境变量定义

$HOME_name/.bash_profile 针对特定用户生效,$HOME为用户的宿主目录,当用户登陆系统后,首先继承/etc/profile文件中的定义,再应用$HOME/.bash_profile文件中的定义。

系统预定义的环境变量

系统环境变量对所有用户有效,如:$PATH、$HOME、$SHELL、$PWD等等,如下用echo命令打印上述的系统环境变量:

 

shell脚本编程

同传统的编程语言一样,shell提供了很多特性,这些特性可以使你的shell脚本编程更为有用。

创建Shell脚本

一个shell脚本通常包含如下部分:

首行

第一行内容在脚本的首行左侧,表示脚本将要调用的shell解释器,内容如下:

#!/bin/bash

#!符号能够被内核识别成是一个脚本的开始,这一行必须位于脚本的首行,/bin/bash是bash程序的绝对路径,在这里表示后续的内容将通过bash程序解释执行。

注释

注释符号# 放在需注释内容的前面,如下:

 

内容

可执行内容和shell结构

 

Shell脚本的权限

一般情况下,默认创建的脚本是没有执行权限的

 

没有权限不能执行,需要赋予可执行权限

 

Shell脚本的执行

1 输入脚本的绝对路径或相对路径

       /root/helloWorld.sh

       ./helloWorld.sh

2 bash或sh +脚本

       bash /root/helloWorld.sh

       sh helloWorld.sh

注:当脚本没有x权限时,root和文件所有者通过该方式可以正常执行。

 

3 在脚本的路径前再加". " 或source

       source /root/helloWorld.sh

       . ./helloWorld.sh

区别:第一种和第二种会新开一个bash,不同bash中的变量无法共享

但是使用. ./脚本.sh 这种方式是在同一个shell里面执行的。

 

可以使用pstree查看

source eg.sh

Shell变量

变量:是shell传递数据的一种方式,用来代表每个取值的符号名。

当shell脚本需要保存一些信息时,如一个文件名或是一个数字,就把它存放在一个变量中。

变量设置规则:

1,变量名称可以由字母,数字和下划线组成,但是不能以数字开头,环境变量名建议大写,便于区分。

2,在bash中,变量的默认类型都是字符串型,如果要进行数值运算,则必须指定变量类型为数值型。

3,变量用等号连接值,等号左右两侧不能有空格。

4,变量的值如果有空格,需要使用单引号或者双引号包括。

变量分类

Linux Shell中的变量分为用户自定义变量,环境变量,位置参数变量和预定义变量。

可以通过set命令查看系统中存在的所有变量

系统变量:保存和系统操作环境相关的数据。$HOME、$PWD、$SHELL、$USER等等

位置参数变量:主要用来向脚本中传递参数或数据,变量名不能自定义,变量作用固定。

预定义变量:是Bash中已经定义好的变量,变量名不能自定义,变量作用也是固定的。

用户自定义变量

用户自定义的变量由字母或下划线开头,由字母,数字或下划线序列组成,并且大小写字母意义不同,变量名长度没有限制。

设置变量:

习惯上用大写字母来命名变量。变量名以字母表示的字符开头,不能用数字。

变量调用

在使用变量时,要在变量名前加上前缀“$”.

使用echo 命令查看变量值。eg:echo $A

变量赋值:

1,定义时赋值:

变量=值

等号两侧不能有空格

eg:

STR="hello world"

A=9

 

2, 将一个命令的执行结果赋给变量

A=`ls -la` 反引号,运行里面的命令,并把结果返回给变量A

A=$(ls -la) 等价于反引号

eg: aa=$((4+5))

bb=`expr 4 + 5 `

3,将一个变量赋给另一个变量

eg: A=$STR

变量叠加

eg:#aa=123

eg:#cc="$aa"456

eg:#dd=${aa}789

 

单引号和双引号的区别:

现象:单引号里的内容会全部输出,而双引号里的内容会有变化

原因:单引号会将所有特殊字符脱意

NUM=10    

SUM="$NUM hehe"     echo $SUM     输出10 hehe

SUM2=‘$NUM hehe‘     echo $SUM2    输出$NUM hehe

列出所有的变量:

# set

删除变量:

#unset  NAME

eg :

# unset A 撤销变量 A

# readonly B=2 声明静态的变量 B=2 ,不能 unset

 

用户自定义的变量,作用域为当前的shell环境。

 

环境变量

用户自定义变量只在当前的shell中生效,而环境变量会在当前shell和其所有子shell中生效。如果把环境变量写入相应的配置文件,那么这个环境变量就会在所有的shell中生效。

export 变量名=变量值   申明变量

作用域:当前shell以及所有的子shell

位置参数变量

$n

n为数字,$0代表命令本身,$1-$9代表第一到第9个参数,

十以上的参数需要用大括号包含,如${10}。

$*

代表命令行中所有的参数,把所有的参数看成一个整体。以"$1 $2 … $n"的形式输出所有参数

[email protected]

代表命令行中的所有参数,把每个参数区分对待。以"$1" "$2" … "$n" 的形式输出所有参数

$#

代表命令行中所有参数的个数。添加到shell的参数个数

 

shift指令:参数左移,每执行一次,参数序列顺次左移一个位置,$#的值减1,用于分别处理每个参数,移出去的参数不再可用

$* [email protected]的区别

$* 和 [email protected] 都表示传递给函数或脚本的所有参数,不被双引号" "包含时,都以"$1" "$2" … "$n" 的形式输出所有参数

当它们被双引号" "包含时,"$*" 会将所有的参数作为一个整体,以"$1 $2 … $n"的形式输出所有参数;"[email protected]" 会将各个参数分开,以"$1" "$2" … "$n" 的形式输出所有参数

shell脚本中执行测试:

 

输出结果:

 

 

预定义变量

$? 

执行上一个命令的返回值   执行成功,返回0,执行失败,返回非0(具体数字由命令决定)

$$

当前进程的进程号(PID),即当前脚本执行时生成的进程号

$!

后台运行的最后一个进程的进程号(PID),最近一个被放入后台执行的进程&

# vi pre.sh

pwd>/dev/null

echo $$

 

ls /etc>/dev/null &

echo $!

read命令

read [选项] 值

read -p(提示语句)-n(字符个数) -t(等待时间,单位为秒) –s(隐藏输入)

eg:

read–t 30 –p “please input your name: ” NAME

echo $NAME

read–s–p “please input your age : ” AGE

echo $AGE

read–n 1 –p “please input your sex  [M/F]: ”GENDER

echo $GENDER

运算符

num1=11

num2=22

sum=$num1+$num2

echo $sum

格式 :expr m + n 或$((m+n)) 注意expr运算符间要有空格

expr命令:对整数型变量进行算术运算

(注意:运算符前后必须要有空格) 

expr 3 + 5   
expr 3 – 5

echo `expr 10 / 3`           

10/3的结果为3,因为是取整
expr  3 * 10    

是转义符

计算(2 +3 )×4 的值

1 .分步计算
       S=`expr 2 + 3`
       expr $S * 4

2.一步完成计算

       expr `expr 2 + 3` * 4

       S=`expr `expr 2 + 3`  * 4`

       echo$S

       或

       echo$(((2 + 3) * 4))

$()与${}的区别

$( )的用途和反引号``一样,用来表示优先执行的命令

eg:echo$(ls a.txt)

${ } 就是取变量了  eg:echo ${PATH}

$((运算内容)) 适用于数值运算

eg:echo $((3+1*4))

条件测试

内置test命令

内置test命令常用操作符号[]表示,将表达式写在[]中,如下:

[expression ] 

或者:

test expression

注意:expression首尾都有个空格

eg: [  ] ;echo $?

测试范围:整数、字符串、文件

表达式的结果为真,则test的返回值为0,否则为非0。

当表达式的结果为真时,则变量$?的值就为0,否则为非0

 

字符串测试:

test  str1==str2    测试字符串是否相等 =

test  str1!=str2    测试字符串是否不相等
test  str1            测试字符串是否不为空,不为空,true,false
test  -n str1     测试字符串是否不为空
test  -z  str1    测试字符串是否为空

eg:

name=linzhiling

[ “$name” ] && echo ok

; 命令连接符号

&& 逻辑与 条件满足,才执行后面的语句

[ -z “$name”]&&echo  invalid || echo ok

||  逻辑或,条件不满足,才执行后面的语句

test “$name”==”yangmi”&& echo ok  || echo  invalid

 

整数测试:

test   int1 -eq  int2    测试整数是否相等 equals
test   int1 -ge  int2    测试int1是否>=int2
test   int1 -gt  int2    测试int1是否>int2
test   int1 -le  int2    测试int1是否<=int2
test   int1 -lt  int2    测试int1是否<int2
test   int1 -ne  int2    测试整数是否不相等

eg:

test 100 –gt 100

test 100 –ge 100

如下示例两个变量值的大小比较:

 

-gt表示greater than大于的意思,-le表示less equal表示小于等于。

 

 

文件测试:

test  -d  file      指定文件是否目录

test  –e  file     文件是否存在 exists
test  -f  file     指定文件是否常规文件
test –L File     文件存在并且是一个符号链接 


test  -r  file    指定文件是否可读
test  -w  file    指定文件是否可写

test  -x  file    指定文件是否可执行

 

 

eg:

test -d  install.log

test–r install.log

test–f xx.log ; echo $?

[ -L service.soft  ] && echo “is a link”

test -L /bin/sh ;echo $?

[ -f /root ] && echo “yes” || echo “no”

多重条件测试:

条件1 –a 条件2 逻辑与  两个都成立,则为真

条件1 –o 条件2 逻辑或        只要有一个为真,则为真

!条件                 逻辑非   取反

eg:

num=520

[ -n “$num”–a “$num”–ge520 ] &&echo “marry you” || echo “go on”

age=20

pathname=outlog

[ !-d“$pathname”]&&echousable || echo  used

流程控制语句

if/else命令

1, 单分支if条件语句

if [ 条件判断式 ]

    then

        程序

fi 

或者

if [ 条件判断式 ] ; then 

    程序

fi

eg:#!/bin/sh

if  [ -x  /etc/rc.d/init.d/httpd ]

    then

    /etc/rc.d/init.d/httpd restart

fi

单分支条件语句需要注意几个点

if语句使用fi结尾,和一般语言使用大括号结尾不同。

[ 条件判断式 ] 就是使用test命令判断,所以中括号和条件判断式之间必须有空格

then后面跟符号条件之后执行的程序,可以放在[]之后,用“;”分割,也可以换行写入,就不需要";"了。

2,多分支if条件语句

if [ 条件判断式1 ]

    then

        当条件判断式1成立时,执行程序1

elif [ 条件判断式2 ]

    then      

        当条件判断式2成立时,执行程序2

...省略更多条件

else

    当所有条件都不成立时,最后执行此程序

fi

示例:

read -p "please input your name: " NAME

eg:

#!/bin/bash

read -p "please input your name:"NAME

#echo  $NAME

if [ “$NAME” == root ]

then

echo "hello ${NAME},  welcome !"

elif [ $NAME == tom ]

then

echo "hello ${NAME},  welcome !"

else

echo "SB, get out here !"

fi

case命令

case命令是一个多分支的if/else命令,case变量的值用来匹配value1,value2,value3等等。匹配到后则执行跟在后面的命令直到遇到双分号为止(;;)case命令以esac作为终止符。

格式

       CMD=$1

case $CMD in

start)

       echo "starting"

       ;;

Stop)

       echo "stoping"

       ;;

*)

       echo "Usage: {start|stop} “

esac

for循环

for循环命令用来在一个列表条目中执行有限次数的命令。比如,你可能会在一个姓名列表或文件列表中循环执行同个命令。for命令后紧跟一个自定义变量、一个关键字in和一个字符串列表(可以是变量)。第一次执行for循环时,字符串列表中的第一个字符串会赋值给自定义变量,然后执行循环命令,直到遇到done语句;第二次执行for循环时,会右推字符串列表中的第二个字符串给自定义变量,依次类推,直到字符串列表遍历完。

第一种:

for N in 1 2 3

do

echo $N

done

for N in 1 2 3; do echo $N; done

for N in {1..3}; do echo $N; done

第二种:

for ((i = 0; i<= 5; i++))

do

echo "welcome $i times"

done

for ((i = 0; i<= 5; i++)); do echo "welcome $i times"; done

练习:计算从1到100的加和。

 

while循环

while命令根据紧跟其后的命令(command)来判断是否执行while循环,当command执行后的返回值(exit status)为0时,则执行while循环语句块,直到遇到done语句,然后再返回到while命令,判断command的返回值,当得打返回值为非0时,则终止while循环。

第一种

while expression

do

command

done

练习:求1-10 各个数的平方和

 

第二种方式:

 

自定义函数

函数代表着一个或一组命令的集合,表示一个功能模块,常用于模块化编程。

以下是关于函数的一些重要说明:                                

在shell中,函数必须先定义,再调用

使用return value来获取函数的返回值

函数在当前shell中执行,可以使用脚本中的变量。

函数的格式如下:

函数名()

{

命令1…..

命令2….

return 返回值变量

}

[ function ] funname [()]

{

  action;

  [returnint;]

}

function start()  / function start / start()

eg:

 

注意:

如果函数名后没有(),在函数名和{ 之间,必须要有空格以示区分。

函数返回值,只能通过$? 系统变量获得,可以显示加:return 返回值,如果不加,将以最后一条命令运行结果,作为返回值。 return后跟数值n(0-255)

脚本调试

sh -x script
这将执行该脚本并显示所有变量的值。

在shell脚本里添加  

set -x  对部分脚本调试
sh -n script
不执行脚本只是检查语法的模式,将返回所有语法错误。

sh–v script

执行并显示脚本内容

 

 

awk和sed

cut [选项]  文件名        默认分割符是制表符

选项:

    -f 列号:    提取第几列

    -d 分隔符:    按照指定分隔符分割列

 

eg:#cut -f  2  aa.txt   提取第二列

eg:#cut -d ":" -f 1,3 /etc/passwd  以:分割,提取第1和第3列

eg:#cat /etc/passwd | grep /bin/bash | grep -v root | cut -d ":" -f 1    获取所有可登陆的普通用户用户名

cut的局限性    不能分割空格   df -h  不能使用cut分割

df -h | grep sda1 | cut -f 5

 

awk

一个强大的文本分析工具

把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。

语法:awk ‘条件1{动作1}条件2{动作2}...’文件名

条件(Pattern):

一般使用关系表达式作为条件: >   >=  <=等

动作(Action):

格式化输出

流程控制语句

eg:#df -h | awk ‘{print $1 " " $3}‘      显示第一列和第三列

FS内置变量

eg:# cat /etc/passwd | grep "/bin/bash" | awk ‘BEGIN {FS=":"} {print $1 " "$3 }‘    输出可登陆用户的用户名和UID,这里使用FS内置变量指定分隔符为:,而且使用BEGIN保证第一行也操作,因为awk命令会在读取第一行后再执行条件

指定分隔符还可以用-F更简单

eg:# cat /etc/passwd | grep "/bin/bash" | awk -F:  ‘{print $1 " "$3 }‘   效果同上

eg:判断一下根目录的使用情况

#df -h |grep sda1 | awk ‘{print $5}‘ | awk -F% ‘{print $1} $1<80{print "info"}$1>80{print "warning"}‘

BEGIN在所有数据读取之前执行

eg:#awk ‘BEGIN {printf "first Line "} {printf $2 }‘ aa.txt     在输出之前使用BEGIN输出内容

 

END 在所有数据执行之后执行

eg:#awk ‘END {printf "The End "} {print $2}‘ aa.txt   所有命令执行完后,输出一句"The End"

# df -h | grep sda2 | awk ‘{print $5}‘ | awk -F% ‘{print $1}‘

# df -h | grep sda2 | awk ‘{print $5}‘ | cut -d"%" -f 1

获取所有用户信息里的用户名:

cat /etc/passwd | awk -F: ‘{print $1}‘

awk -F: ‘{print $1}‘ /etc/passwd

获取当前机器的ip地址:

# ifconfig eth0 | grep ‘inetaddr‘ | awk -F: ‘{print $2}‘ | awk ‘{print $1}‘

 

sed: stream editor 

s e d是一个非交互性文本编辑器。它编辑文件或标准输入导出的文本拷贝。标准输入可 能是来自键盘、文件重定向、字符串或变量,或者是一个管道的文本。

注意: s e d 并不与初始化文件打交道, 它操作的只是一个拷贝,然后所有的改动如果没有重定向到一个文件,将输出到屏幕。

语法:sed [选项]’[动作]’ 文件名

常用选项:

-n  使用安静(silent)模式。显示经过sed特殊处理的数据。

-e  允许多点编辑。

-i  直接修改读取的档案内容,而不是由屏幕输出。

命令

功能描述

a

新增, a 的后面可以接字串,在下一行出现

c

替换

d

删除

i

插入, i 的后面可以接字串

p

打印

s

查找并替换,例如 1,20s/old/new/g

 

eg:

sed ‘2p‘ sed.txt 显示第二行和所有数据

sed -n ‘2,3p‘ sed.txt   显示第二和第三行

df -h | sed -n ‘1p‘     接收命令结果数据

sed‘2aliuyifei’sed.txt 在第二行后面添加数据

sed‘4ifengjie

canglaoshi’sed.txt 在第4行之前添加两行数据

sed‘2c this is replace’sed.txt 替换第二行数据

sed‘s/it/edu360/g’ sed.txt  把sed.txt文件中的it替换为edu360,并输出

sed -e ‘1s/1/34/g;3s/yangmi//g‘ sed.txt        同时进行多个替换

sed–i ‘s/it/edu360/g’ sed.txt   要想真正替换,需要使用-i参数

 

使用sed获取机器的ip地址

ifconfig eth0 | grep ‘inetaddr‘| sed ‘s/^.*addr://g‘ | sed ‘s/  Bcast.*$//g‘

 

定时器

crontab 命令允许用户提交、编辑或删除相应的作业。每一个用户都可以有一个crontab 文件来保存调度信息。可以使用它运行任意一个 s h e l l 脚本或某个命令。

crontab命令格式

作用:用于生成cron进程所需要的crontab文件
crontab的命令格式

# crontab-e  

使用编辑器编辑当前的crontab文件。

  crontab文件格式
minute hour  day-of-month  month-of-year  day-of-week  commands

分<>时<>日<>月<>星期<>要运行的命令     <>表示空格

其中
    Minute              一小时中的哪一分钟     [0~59] 
    hour                  一天中的哪个小时        [0~23] 
    day-of-month    一月中的哪一天           [1~31] 
    month-of-year   一年中的哪一月           [1~12] 
    day-of-week      一周中的哪一天           [0~6]     0表示星期天
    commands         执行的命令 

 

书写注意事项
1,全都不能为空,必须填入,不知道的值使用通配符*表示任何时间
2,每个时间字段都可以指定多个值,不连续的值用,间隔,连续的值用-间隔。
3,命令应该给出绝对路径
4,用户必须具有运行所对应的命令或程序的权限

如何使用crontab 运行多个任务:

方法1:在crontab -e 里 写多个

输入命令  crontab–e 

敲回车

 

开始编写任务:

 

方法2:把所有的任务,写入到一个可执行的文件

再在crontab -e里面配置执行任务

 

分钟   小时   天   月   星期   命令/脚本

示例:

eg:4点备份

0      4        *      *     *

 

eg:每周二,周五,下午6点  的计划任务

0     18       *      *     2,5

 

eg:1到3月份,每周二周五,下午6点的计划任务

0     18       *     1-3   2,5

 

eg:周一到周五下午,5点半提醒学生15分钟后关机

30   17      *       *     1-5   /usr/bin/wall < /etc/issue

45   17      *       *     1-5  /sbin/shutdown -h now

 

eg:学校的计划任务, 12点14点,检查apache服务是否启动

*/2  12-14  *   3-6,9-12   1-5   

eg:再添加一个备份,把/etc目录备份到/backup下,然后把错误的情况也记录下来,正确的文件都丢到/dev/null下,看不见(相当于一个黑洞)

*/2  12-14  *   3-6,9-12   1-5   /bin/cp -r /etc  /backup/etc.20170407 2> /backup/etc.bak.err 

/dev/null

 

eg:每月 1、1 0、2 2日的4:45运行/apps/bin目录下的backup.sh

45  4  1,10,22  *  * /apps/bin/backup.sh

 

eg:每周六、周日的 1 : 10运行一个find命令

10  1  *  *  6,0  /bin/find -name "core" -exec rm {} ;

 

eg:在每天 18:00至23 :00之间每隔30分钟运行/apps/bin目录下的dbcheck.sh

0,30  18-23  *  *  * /apps/bin/dbcheck.sh

 

eg:每星期六的 11:00 pm运行/apps/bin目录下的qtrend.sh

0  23  *  *  6  /apps/bin/qtrend.sh

 

















以上是关于Big-data:Linux基础(03)的主要内容,如果未能解决你的问题,请参考以下文章

Linux基础(03)常用基础指令和操作

[Linux基础] 03-基础命令

Linux基础03

linux基础day07:linux文件管理03

Linux基础知识-03

Linux基础03