第二十三章 expect-正则表达式-sed-cut 的使用

Posted 2023-03-14

参考技术A 本节所讲内容

23.1  expect  实现无交互登录

23.2  正则表达式

23.3  sed 流编译器

23.4   cut 命令

23.5  实战-bash  脚本语法检查和查看详细的执行过程

23.1   expect  实现无交互登录

expect  是它发展出来的，如果想要写一个能够自动处理输入输出的脚本（如向用户提问并且要验证码）又不想面对C或者Perl   那么expect 是你最好的选择   它可以用用来做一些linux下无法交互的一些命令操作

安装   expect     正则表达式

[root@localhost ~]# yum -y install expect

1）  定义脚本执行的shell 

#！ /bin/bash/expect  

这里定义的是expect  可执行文件的连接路径   （或真实路径） 功能类似于bash  等shell功能

2）   set  timeout  30  

设置超时时间，单位是秒  。如果设为timeout  -1   意味永不过时

3）  spawn 

spawn  是进入expect 环境之后才能执行的内部命令，如果没有装expect  或者直接在默认的SHELL下执行时找不到spawn  命令的额，不能直接在默认的shell环境中进行执行主要功能是给ssh  运行进程加个壳

用来传递交互指令

4）  expect

这里的expect 同样是expect 的内部命令

主要功能：判断输出结果是否包含某项字符串，没有则立即返回，否则等待一段时间后

timeout 进行设置

执行交互动作 ，将交互要执行的动作进行输入给交互指令

6） exp_continue  

继续执行接下来的交互操作

7）  interact   

执行完保持交互状态，把控制器交给控制台，如果不加这一项，交互完成后，就会自动退出

8）  $ argv 

expect 脚本可以接受从bash   传递过来的参数，可以使用   [ lin dex $argv n] 获得，n从

一个，第二个，第三个，。。。。。参数

例1  ：  面密码通过ssh  登录服务器  （了解）

注意： 运行脚本时，要把#号后面的文字删除，不然无法运行

[root@localhost ~]# vim ssh.exp

①#! /usr/bin/expect   这是开头

②#! /usr/bin/expect

不加注释的脚本

#!/usr/bin/expect

set ipaddr "192.168.1.63"

set name "root"

set passwd "123456"

set timeout 30     #设置超时时间，单位是秒；expect超时等待的时间。默认timeout为10s。

spawn ssh $name@$ipaddr    #   spawn是进入expect环境后才可以执行的expect内部命令，如果没有装expect或者直接在shell下执行是找不到spawn命令的。这个就好比cd是shell的内建命令，离开shell，就无法执行cd一样。 它主要的功能是给ssh运行进程加个壳，用来传递交互指令。  

expect

"yes/no" send "yes\r";exp_continue

"password" send "$passwd\r"    #执行交互动作，与手工输入密码的动作等效。



 

expect "#"    #判断上次输出结果里是否包含“password:”的字符串，如果有则立即返回，向下执行；否则就一直等待，直到超时时间到

send "touch /root/xuegod1011.txt\r"

send "ls /etc > /root/xuegod1011.txt\r"

send "mkdir /tmp/xuegod1011\r"

send "exit\r"

expect eof    #执行完成上述命令后，退出Expect，把控制权交给控制台，变回手工操作

③

[root@localhost ~]# expect ssh.exp

spawn ssh root@192.168.24.169

root@192.168.24.169's password:

Last login: Sun Apr 12 07:47:56 2020 from 192.168.24.169

[root@localhost ~]# touch /root/xuegod1011.txt

[root@localhost ~]# ls /etc > /root/xuegod1011.txt

[root@localhost ~]# mkdir /tmp/xuegod1011

mkdir: cannot create directory ‘/tmp/xuegod1011’: File exists

[root@localhost ~]# exit

logout

Connection to 192.168.24.169 closed.

④

例2：对服务器批量管理 （了解一下）

[root@xuegod63 ~]# cat ip_pass.txt     #这里写上要执行的IP地址和root用户密码

192.168.1.63  123456

192.168.1.63  123456

192.168.1.63  123456

[root@xuegod63 ~]# cat ssh 2 .exp    #编写要执行的操作

#!/usr/bin/expect

 

set ipaddr [lindex $argv 0]

set passwd [lindex $argv 1]

set timeout 30

spawn ssh root@$ipaddr

expect

"yes/no" send "yes\r";exp_continue

"password" send "$passwd\r"



 

expect "#"

send "touch /root/xuegod1011.txt\r"

send "ls /etc > /root/xuegod1011.txt\r"

send "mkdir /tmp/xuegod1011\r"

send "exit\r"

send  eof 

3)cat login.sh    #开始执行

#!/bin/bash

echo

for ip in `awk 'print $1' /root/ip_pass.txt`

do

pass=`grep $ip /root/ip_pass.txt|awk 'print $2'`

expect /root/ssh.exp $ip $pass

done

4) 开始执行

bash   login.sh 

特别字符 描述

$ 匹配输入字符串的结尾位置。要匹配 $ 字符本身，请使用 \$

( ) 标记一个子表达式的开始和结束位置。要匹配这些字符，请使用 \( 和 \)

* 匹配前面的子表达式零次或多次。要匹配 * 字符，请使用 \*

+ 匹配前面的子表达式一次或多次。要匹配 + 字符，请使用 \+

. 匹配除换行符 \n 之外的任何 单字符 。要匹配 . ，请使用 \.

[ 标记一个中括号表达式的开始。要匹配 [，请使用 \[

? 匹配前面的子表达式零次或一次，或指明一个非贪婪限定符。要匹配 ? 字符，请使用 \?

\ 将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。例如， 'n' 匹配字符 'n'。'\n' 匹配换行符。序列 '\\' 匹配 "\"，而 '\(' 则匹配 "("

^ 匹配输入字符串的开始位置，除非在方括号表达式中使用，此时它表示不接受该字符集合。要匹配 ^ 字符本身，请使用 \^

标记限定符表达式的开始。要匹配 ，请使用 \

| 指明两项之间的一个选择。要匹配 |，请使用 \|   如：  Y | y

定位符

^ 匹配输入字符串开始的位置

$ 匹配输入字符串结尾的位置

非打印字符

\n 匹配一个换行符

\r 匹配一个回车符

\t 匹配一个制表符

找出下列中以# 号或者$  开头的多少行

①grep "^$ \|#" /etc/ssh/sshd_config

②[root@localhost ~]# grep -v "^$\|^#" /etc/ssh/sshd_config    #  取反   使用基础正则表达式

③[root@localhost ~]# grep -E -v "^$\|^#" /etc/ssh/sshd_config   扩展表达式

4）[root@localhost ~]# egrep  -v "^$\|^#" /etc/ssh/sshd_config    扩展正则表达式

例3   ：  [root@localhost ~]# grep .ot /etc/passwd     查找passwd  文件包括.ot  的字符

root:x:0:0:root:/root:/bin/bash

23.3   sed  流编译器

sed  编译器是一行一行处理文件的，正在处理的内容放在模式空间内，处理完成后安装选项的规定进行输出或文件的修改

23.3   sed 流编辑器

23.3.1  sed  strem editor 流编辑器

sed编辑器是一行一行的处理文件内容的。正在处理的内容存放在模式空间(缓冲区)内，处理完成后按照选项的规定进行输出或文件的修改。

接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；

sed也是支持正则表达式的，如果要使用扩展正则加参数-r

sed的执行过程：

[if !supportLists]1、 [endif] 一次读取一行数据

[if !supportLists]2、 [endif] 根据我们提供的规则来匹配相关的数据，比如查找root。

[if !supportLists]3、 [endif] 按照命令修改数据流中的数据，比如替换

[if !supportLists]4、 [endif] 将结果进行输出

[if !supportLists]5、 [endif] 重复上面四步

23.3.2  如何使用 

语法格式：sed   选项    commands     filename  

例子 [root@localhost ~]# echo "this is aplle" | sed 's/aplle/dog/'

this is dog

[root@localhost ~]# echo "this is aplle" >a.txt

[root@localhost ~]# sed 's/aplle/dog/' a.txt

this is dog

[root@localhost ~]# cat a.txt

this is aplle

23.3.3   sed  选项  | 参数

options  

-a   在当前行下面插入文件

-n   赌气下一行输入行  ，用下要给命令处理新的行而不是用一个命令

-e   执行多个sed  指令

-i   编辑文件内容

 -i.bak   编辑的同时参加。bak   的备份

-r   使用扩展的正则表达式

命令：  重点

i   在当前上面插入文件

c  把选定的行为改为新的指标的文本

p  打印

d   删除

r/R   读取文件/  一行

w   另存

s  查找

y  代替

h   拷贝模板的内容到内存中的缓冲区

H 追加模板库的内容到内存中的缓冲区

g   获得内存缓冲区的内容，并代替当前模板库的文本

G  获得内存缓冲区的内容，并追加到当前模板块文本的后面

D   删除\n 之前的内容

p   打印\n    之前的内容

例1  ：s   只替换第一个匹配到的字符，将password中的root  用户换成  xuegod 

[root@localhost ~]# sed 's/root/xuegod/' /etc/passwd     发现只替换了第一个匹配的root  ，后面的没有替换

全面替换g  

例2   [root@localhost ~]# sed 's/root/xuegod/g' /etc/passwd    全面替换   

xuegod:x:0:0:xuegod:/xuegod:/bin/bash    #  全部替换了

例子2   将sed  中默认的/  定界符改成#号  

[root@localhost ~]# sed 's#/bin/bash#/sbin/nologin#' /etc/passwd | more

[root@localhost ~]# sed 's/root/xuegod/g' /etc/passwd |more

daemon:x:2:2:daemon:/sbin:/sbin/nologin

sed 's/root/xuegod/g' /etc/passwd | more

以 /  来做定界符

[root@localhost ~]# sed 's/\/bin\/bash/\/sbin\/nologin/' /etc/passwd | more

（2）  按行查找代替

写法如下

用数字表示行范围，$  表示行尾

用文本模式配置来过滤

例1  单行代替，将第2行中bin   替换成xuegod 

[root@localhost ~]# sed '2s/bin/xuegod/' /etc/passwd | more

root:x:0:0:root:/root:/bin/bash

xuegod:x:1:1:bin:/bin:/sbin/nologin   可以看到替换了

[root@localhost ~]# sed '2,$s/bin/xuegod/' /etc/passwd | more  第二行到   最后

都替换为xuegod

（3） 删除第2行到第4行  

[root@localhost ~]# sed '2,4d' /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

[root@localhost ~]# sed '/192.168/d' /etc/hosts    将192.168  的行删除

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

（4）  添加行

命令i  (insert)   插入，在当前行前面加入一行，i\ 

命令   a  append   附加，在当前行后面添加一行  a\

[root@localhost ~]# echo "hello world" | sed 'i\xuegod'

xuegod

hello world

[root@localhost ~]# echo "hello world" | sed 'a\xuegod'

hello world

xuegod

[root@localhost ~]# sed '$a\192.3123 xue.cn' /etc/hosts    在最后一行追加  

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

192.3123 xue.cn

例4  文件在第二行之后开始追加

[root@localhost ~]# sed '2a\192.3123 xue.cn' /etc/hosts   在   第二行追加

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

192.3123 xue.cn

例5   [root@localhost ~]# sed '2,4a\192.3123 xue.cn' /etc/hosts    在第二行和第四行之间都追加

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

192.3123 xue.cn

（5）  c\  修改   change  

[root@localhost ~]# sed '4c\19234.1 192.3123.cn' /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

例2   将第二行到最后全部修改成192.168.65.cn   /etc/hosts  

[root@localhost ~]# sed '2,$c\192.168.1.65 xuegod65.cn' /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

192.168.1.65 xuegod65.cn

例3    将包含   192.168.1.65  行的内容修改成   192.168.1.64 

[root@localhost ~]# sed '/192.168.1.65/c\192.168.1.64' /etc/hosts

127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.64

（6）   打印，直接输入文件中的内容 

例1  输出 第2行的内容 

[root@localhost ~]# sed -n '2p' /etc/hosts

::1        localhost localhost.localdomain localhost6 localhost6.localdomain6

（7）  将修改过的文件保存到另一个文件中

例2  将pass外的中的包含root字样的行保存到c.txt   中

[root@localhost ~]# sed -n '/root/w c.txt' /etc/passwd

[root@localhost ~]# vim c.txt

（8）  -i   对源文件修改，保存  （必须会）

[root@localhost opt]# sed -i 's/root/xuegod/' /etc/passwd

修改IP地址并保存 

[root@localhost opt]# sed -i 's/IPADDR=192.168.0.151/IPADDR=192.168.0.67/' /etc/sysconfig/network-scripts/ifcfg-ens33

23.4   cut命令  

cut  命令用来显示指定部分，输出文件中的指定字段

说明：该命令有良项功能，其一是用来显示文件的内容，它依次读取由参数file所指的文件，将他们的内容输出到标准输出上，其二是连接两个或多个文件上，如cut  f2  >f3   将文件f1  和fn   所指明的内容合并起来，然后通过输出重定向符 ">"   的作用，将他们放入文件f3   中

语法：cut   选项  参数

选项

-b  仅显示行中指定范围的内容

-c   仅显示行中指定范围的字符

-d   指定字段的分隔符，默认的字段分隔符为   “TAB”

-f  显示指定字段的内容

例1  ：  输出系统中所有用户名

使用-f   选项提取指定字段，使用-d   选项字符分隔符  这里以“：”   冒号做分割

[root@localhost ~]# cut -f1 -d ":" /etc/passwd   指定第一列  -d   以什么为分隔符  “：”

23.4.2   cut  命令可以将一串字符作为列来显示，字符字段的记发

N-   :从第N  个字符，字符，字段到结尾

N-M   ：  从第N个字节，字符，字段到第M 个（包括M在内）字节，字符，字段

-M   ：  从第1个字符，字节，地段到第M 个  包括M在内  字节，字符，字段

上面是记发  

-b   表示字节

-c   表示字符

-d   指定字段的分隔符

-f   表示定义字段

示例   [root@localhost ~]# cut -c1-3 /etc/passwd  打印三个字符   

[root@localhost ~]# cut -c-4 /etc/passwd

检查语法是否有错

bash -v   test.sh       #   查看bash  是否存在语法错误

bash  -x   test.bash   #   查看bash   详细的执行过程

# Script to show debug of shell

tot=`expr $1 + $2`

expr    语法错误，    错误在没有写参数   运行时没有给参数

secho $tot    #  这里是故意写错  没有找到哦啊命令

~                               

过程

[root@localhost ~]# bash -x a.sh 2 3   相差详细过程

++ expr 2 + 3

+ tot=5

+ expr 2 + 3

5

+ echo 5

5