sedawk命令

Posted cp-linux

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了sedawk命令相关的知识,希望对你有一定的参考价值。

1、sed (Stream EDitor) 流式编辑器
1.1 说明
非交互、逐行处理
Vim ——硬盘到内存,一次全部显示
Sed ——一行到内存的显示
1.2 使用方法
sed [-nefri] ‘command‘ test.txt
参数说明:
-n 取消默认控制台输出,与p一起使用打印指定内容
[root@server0 ~]# sed -n ‘3p‘ /etc/passwd #显示第3行
不加-n的时候,会在第三行将第三行重复打印 (-n取消自动打印模式空间)
屏蔽默认输出
-r, --regexp-extended 在脚本中使用扩展正则表达式
-i 直接修改文件内容
-e 指定多个命令
sed -ne ‘3p‘ -e ‘5p‘ /etc/passwd
-f 指定命令文件
sed -f command.sed /etc/passwd
command.txt文件书写执行的动作命令
案例
sed -f command.sed -n /etc/passwd
command.sed 文件内容为 3p
动作说明:
p 打印;a 新增; c 取代;d 删除;i 插入; s 替换
p 显示(print)
sed -n ‘3p;5p‘ /etc/passwd #显示第3,第5行 多个指令用分隔符
sed -n ‘3,5p‘ /etc/passwd #显示第3到第5行
sed -n ‘3,+5p‘ /etc/passwd #显示第3行以及其后的5行
sed -n ‘p;n‘ /etc/passwd #输出奇数行,sed自动读行,给n拒绝
sed -n ‘n;p‘ /etc/passwd #输出偶数行
sed -n ‘$=‘ /etc/passwd #输出文件的行数 wc -l
sed -n ‘/834/!p‘ /etc/passwd #输出不包括843的行
根据正则相结合使用(不知道行号)
[root@server0 ~]# sed -n ‘/root/p‘ /etc/passwd #找出/root并显示出来
d 删除(delete)
sed ‘3,5d‘ /etc/passwd #删除3到5行
sed ‘/xml/d’ /etc/passwd #删除所有包含xml的行(整行删除)
sed ‘/xml/!d’ /etc/passwd #删除不包含xml的行
s 替换 (substitution)
sed ‘s/old/new/’ #文件每行第一个old替换为new
sed ‘3s/old/new/’ #文件第3行第一个old替换为new
sed ‘s/old/new/g’ #文件所有old替换为new
sed ‘s/old/new/3’ #文件每行第三个old替换为new
sed ‘s/old//g #文件所有old替换为空
sed ‘s/old/&s/g’ #文件所有old替换为olds
sed ‘s#/bin/bash#/sbin/sh#‘ #可以使用任何特殊符号作为分隔符必须3个
sed ‘s//bin/bash//sbin/sh/‘ #太复杂
i(insert) a(append) c
sed ‘2i xxx‘ 1.txt #在第2行的前面插入xxx
sed ‘2a xxx‘ 1.txt #在第2行的后面插入xxx
sed ‘2c xxx‘ 1.txt #第2行替换为xxx (整行替换)
sed ‘2i xx yy‘ 1.txt #在第2行的前面插入xx和yy
r w h g
sed ‘1r /etc/hostname‘ 1.txt #在第一行后加入/etc/hostname的内容
sed ‘w /qq.txt‘ 1.txt #在根下另存为qq.txt(不用i已经存了)
sed ‘2H;4G‘ 1.txt #在第2行复制内容加回车在第4行粘贴第2行内容加回车
sed ‘2h;4g‘ 1.txt #在第2行复制内容覆盖第4行为第2行的内容

2、awk 数据过滤软件
2.1 说明
逐行处理 (grep只能整行)
可以过滤列
格式: awk [选项] ‘条件{指令}’ 文件
条件可以没有,代表所有
也可以没有指令,打印整行
不能同时没有条件和指令
df | awk ‘//$/{print $4}‘ #查看以/结尾的第4列的信息 根的磁盘剩余
tailf /var/log/secure #查看远程登录日志
用途:监控脚本:
登录日志
分区剩余容量:df
df -h | awk ‘//$/{print $5}‘ | awk -F % ‘{print $1}‘
内存剩余容量:free
free -h | grep Mem | awk ‘{print $4}‘
CPU负载大于xx: top ,uptime
load average: 0.07, 0.21, 0.21
[1,5,15分钟的平均负载]
2.2 awk 命令,变量
默认使用空格或者tab作为分割符号
-F 指定分隔符(默认空格或者tab)
awk -F: ‘{print $1}‘ /etc/passwd #使用:作为分隔符
awk -F: ‘{print $1,$3,$7}‘ /etc/passwd #打印多列
打印变量:
print $0 #整行
print $1 #第一列
print $2 #第二列
print NR #当前行的行号
print NF #当前行的列号
print $NF #打印最后一列
打印常量:(字符串需要加引号)
awk ‘{print "dachui"}‘ /etc/passwd #每一行都出来(只有)dachui
awk -F ":" ‘{print "第"NR"行""第"NF"列"}‘ /etc/passwd
2.3 awk处理的时机
awk会逐行处理文本,支持在处理第一行之前做一些准备工作,以及在处理完最后一行之后做一些总结性质的工作。在命令格式上分别体现如下:
行前处理,BEGIN{ } #读取文件之前,执行1次
逐行处理,{ } #读取文件过程中执行,执行n次
行后处理,END{ } #读取文件之后,执行1次
awk -F: ‘BEGIN{print "用户名 UID 家目录"} {print $1,$3,$6} END{print "总用户 "NR}‘ /etc/passwd
awk ‘BEGIN{x=2;y=3.3;print x*y}‘ #不加其它选项作为运算使用
awk变量可以不定义,就直接用(默认0)
awk ‘BEGIN{x=0} /bash$/{x++} END{print x}‘ /etc/passwd
awk ‘/bash$/{x++} END{print x}‘ /etc/passwd
2.4 awk处理条件
1)使用正则表达式设置条件
~(模糊)匹配 !~不匹配
awk ‘/root/‘ /etc/passwd #对整行匹配
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
awk -F: ‘$1~/root/‘ /etc/passwd #匹配第一列是root
root:x:0:0:root:/root:/bin/bash
awk -F: ‘$7!~/bash$/‘ /etc/passwd #匹配第7列不是bash结尾的行
2)使用数值/字符串比较设置条件 (字符串需要引号,精确匹配)
== != >= <= > <
awk -F: ‘$1=="root" /etc/passwd #精确匹配第一列是root的行
3)逻辑测试条件
&&逻辑与
awk -F: ‘$3>=10 && $3<=20‘ /etc/passwd
|| 逻辑或
awk -F: ‘$3==0 || $3==1000‘ /etc/passwd
4)数学运算
+ - * / % ++ --
seq 200 | awk ‘$1%7==0 || $1~/7/‘ #200以内能够整除7并且包含7的

2.5 awk流程控制
1)if分支结构(双分支、多分支)
找出多少系统用户,多少普通用户
awk -F: ‘{if ($3>=1000){x++}else{y++}}END{print x,y}‘ /etc/passwd
找出第一列是M.Tansley并且第六列-1,输出1,6,7列
awk ‘{if($1=="M.Tansley")$6-=1;print $1,$6,$7}‘ awk_exe.txt
2)while循环结构
统计词频[文章,日志,文件]
例:统计/etc/passwd中的root出现的次数
[root@svr5 ~]# awk -F [:/]
‘BEGIN{j=0}
{i=1}{while(i<=NF){if($i~/root/){j++};i++}}
END{print j}‘ /etc/passwd
4
awk -F : ‘{i=1;while(i<=NF){if($i~/root/){j++};i++}}
END{print j}’ /etc/passwd
3)break、continue等其他控制语句

2.6 awk公式
ab -c 100 -n 10000 http://172.25.0.11/ #模拟100个人同时访问网站,点击页面1000次。IP后必须写/
拒绝服务***(DOS***)

例:提取IP地址及访问量
awk ‘{A[$1]++} #统计第一列的IP
END{for(i in A){print i,A[i]}}‘ #对每个IP循环得到每个IP的次数
/var/log/httpd/access_log |
awk ‘$2>=500{print $1}‘ #找出访问次数大于500的IP
例:写一个进度条脚本

#!/bin/bash
jindu(){
while :
do
  echo -n #
  sleep 0.3
done
}
jindu &
cp -r $1 $2
kill $!

 

以上是关于sedawk命令的主要内容,如果未能解决你的问题,请参考以下文章

Shell脚本三剑客——Grep(进阶版egrep)SedAwk命令

12sedawk数组 学习笔记

shell正则表达式:sedawk 之文本三剑客其二

sedawk——运维必须掌握的两个工具

五三剑客之sedawk

正则表达式(sedawk)