Linux_069_awk格式化输出

Posted 2023-04-03

参考技术A awk格式化：前面接触到的awk的输出功能，是print的功能，只能对文本简单的输出，并不能美化或修改格式
printf格式化输出：对文本格式化输出

printf和print的区别：format的使用

要点
1、其与print命令的最大不同是，printf需要指定format
2、format用于指定后面的每个item的输出格式
3、printf语句不会自动打印换行符；\n; print默认添加空格换行符

format格式的指示符都以%开头，后跟一个字符
%c 显示字符的ASCII码
%d, %i 十进制整数
%e, %E 科学计数法显示数值
%f 显示浮点数
%g, %G 以科学计数法的格式或浮点数的格式显示数值
%s 显示字符串
%u 无符号整数
%% 显示%自身

printf修饰符
- 左对齐；默认右对齐
+ 显示数值符号；printf "%+d"

给printf添加格式
格式化字符串%s代表字符串的意思
awk 'printf "%s\n",$1' file

对对个变量进行格式化
当我们使用Linux命令printf时，一个%s格式替换符，可以对多个参数进行重复格式化
printf "%s\n" a b c d
然而awk的格式替换符想要修改多个变量，必须传入多个
awk 'BEGINprintf "%d\n%d\n%d\n%d\n%d\n",1,2,3,4,5'
注意awk不跟上文件数据，必须添加BEGIN, %d代表的是十进制数字

awk通过空格切割文档，printf动作对数据格式化输出
awk 'printf "第一列:%s 第二列:%s 第三列:%s\n", 2,$3' file

对pwd.txt进行格式化输出
awk -F ":" 'BEGINprintf
"%-25s\t %-25s\t %-25s\t %-25s\t %-25s\t %-25s\t %-25s\n",
"用户名","密码","UID","GID","用户注释","用户家目录","用户使用的解释器"
printf "%-25s\t %-25s\t %-25s\t %-25s\t %-25s\t %-25s\t %s\n",
2, 4, 6,$7'
pwd.txt

参数解释
'BEGINprintf "格式替换符 格式替换符2","变量1","变量2"' 执行BEGIN模式
"%-25s\t %-25s\t %-25s\t %-25s\t %-25s\t %-25s\t %-25s\n" 先打印第一行信息
%s是格式替换符 ，替换字符串
%s\t 格式化字符串后，添加制表符，四个空格
%-25s 已然是格式化字符串， - 代表左对齐 ，25个字符长度

printf对输出的文本不会换行，必须添加对于的格式替换符和\n
使用printf动作，'printf "%s\n",$1'，替换的格式和变量之间得有逗号
使用printf动作，%s %d 等格式化替换符，必须和被格式化的数据一一对应

命令_awk

awk：(Aho, Weinberger, Kernighan)报告生成器,格式化文本输出

版本:

New awk (nawk)
GNU awk (gawk)：模式扫描和处理语言

基本用法:

awk [options] program var=value file…
awk [options] -f programfile var=value file…
awk [options] BEGINaction;…  patternaction;…  ENDaction;…  file ...

program 通常是被放在单引号中
Program：patternaction statements;..
  action:print,printf

文件的每一行称为记录
由分隔符分隔的字段(域)标记$1,$2...$n称为:域标识;$0为所有域
省略action,则默认执行 print $0 的操作

说明：
-f :读取awk脚本并执行
-F "分隔符" 指明输入时用到的字段分隔符
-v var=value 变量赋值

范例：
cat awkscript
print script,$1,$2
awk -F: -f awkscript script="awk" /etc/passwd

​工作原理

第一步：执行BEGINaction;… 语句块中的语句。
第二步：从文件或标准输入(stdin)读取一行,然后执行pattern action;… 语句块,它逐行扫描文件,
从第一行到最后一行重复这个过程,直到文件全部被读取完毕。
第三步：当读至输入流末尾时,执行ENDaction;…语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,
  比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

END语句块在awk从输入流中读取完所有的行之后即被执行,
  比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分,也是可选的。
如果没有提供pattern语句块,则默认执行 print ,即打印每一个读取到的行,awk读取的每一行都会执行该语句块

print格式

格式:print item1, item2, ...
要点：
(1)逗号分隔符
(2)输出item可以字符串,也可是数值；当前记录的字段、变量或awk的表达式
(3)如省略item,相当于print $0

范例：
awk print "hello,awk"
awk -F: print /etc/passwd
awk -F: print "wang" /etc/passwd
awk -F: print $1 /etc/passwd
awk -F: print $0 /etc/passwd
awk -F: print $1"\\t"$3 /etc/passwd
grep "^UUID" /etc/fstab | awk print $2,$4

awk变量

#变量:内置和自定义变量
#1.内置变量
FS:输入字段分隔符,默认为空白字符
OFS:输出字段分隔符,默认为空白字符
RS:输入记录分隔符,指定输入时的换行符
ORS:输出记录分隔符,输出时用指定符号代替换行符
NF:字段数量
NR:记录号
FNR:各文件分别计数,记录号
FILENAME:当前文件名
ARGC:命令行参数的个数
ARGV:数组,保存的是命令行所给定的各参数

范例：
awk -F: print $1,$3,$7 /etc/passwd
awk -v FS=: print $1,FS,$3 /etc/passwd
awk -v FS=: -v OFS=: print $1,$3,$7 /etc/passwd
awk -v RS=  print  /etc/passwd
awk -v RS=  -v ORS=###print  /etc/passwd
awk -F：print NF /etc/fstab  #引用变量时,变量前不需加$
awk -F：print $(NF-1) /etc/passwd
awk print FNR /etc/fstab /etc/inittab
awk print FILENAME /etc/fstab
awk BEGIN print ARGC /etc/fstab /etc/inittab
3
awk BEGIN print ARGV[0] /etc/fstab /etc/inittab
awk
awk BEGIN print ARGV[1] /etc/fstab /etc/inittab
/etc/fstab
awk BEGIN print ARGV[2] /etc/fstab /etc/inittab
/etc/inittab

#2.自定义变量(区分字符大小写)
(1) -v var=value
(2) 在program中直接定义

范例：
awk -v test=hello gawk print test /etc/fstab
awk -v test=hello gawk BEGINprint test 
awk BEGINtest="hello,gawk";print test 
awk -F: sex="male";print $1,sex,age;age=18 /etc/passwd

printf命令

格式化输出:printf "FORMAT", item1, item2, ...
(1)必须指定FORMAT
(2)不会自动换行,需要显式给出换行控制符,\\n
(3)FORMAT中需要分别为后面每个item指定格式符;即:格式符与item一一对应

#格式符
%c：显示字符的ASCII码
%d,%i：显示十进制整数
%e,%E：显示科学计数法数值
%f：显示为浮点数
%g,%G：以科学计数法或浮点形式显示数值
%s：显示字符串
%u：无符号整数
%%：显示%自身

#修饰符
#[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度,%3.1f
- 左对齐(默认右对齐) %-15s
+ 显示数值的正负符号 %+d

范例：
awk -F: printf "%s",$1 /etc/passwd
awk -F: printf "%s\\n",$1 /etc/passwd
awk -F: printf "%-20s %10d\\n",$1,$3 /etc/passwd
awk -F: printf "Username: %s\\n",$1 /etc/passwd
awk -F: printf "Username: %s,UID:%d\\n",$1,$3 /etc/passwd
awk -F: printf "Username: %15s,UID:%d\\n",$1,$3 /etc/passwd
awk -F: printf "Username: %-15s,UID:%d\\n",$1,$3 /etc/passwd

操作符

#1.算术操作符
x+y, x-y, x*y, x/y, x^y, x%y
-x：转换为负数
+x：将字符串转换为数值

#2.字符串操作符:没有符号的操作符,字符串连接

#3.赋值操作符
=, +=, -=, *=, /=, %=, ^=,++, --
[root@192 ~]# awk BEGINi=0;print ++i,i
1 1
[root@192 ~]# awk BEGINi=0;print i++,i
0 1

#4.比较操作符
==, !=, >, >=, <, <=

#5.模式匹配符
 ~：左边是否和右边匹配,包含
 !~：是否不匹配
范例：
awk -F: $0 ~ /root/print $1 /etc/passwd
awk $0~"^root" /etc/passwd
awk $0 !~ /root/ /etc/passwd
awk -F: $3==0 /etc/passwd


#6.逻辑操作符:与&&,或||,非! 示例：
awk -F: $3>=0 && $3<=1000 print $1 /etc/passwd
awk -F: $3==0 || $3>=1000 print $1 /etc/passwd
awk -F: !($3==0) print $1 /etc/passwd
awk -F: !($3>=500) print $3 /etc/passwd

#7.条件表达式（三目表达式）
selector?if-true-expression:if-false-expression
示例：
awk -F: $3>=1000?usertype="Common User":usertype=" SysUser";
printf "%15s:%-s\\n",$1,usertype /etc/passwd

PATTERN

PATTERN:根据pattern条件,过滤匹配的行,再做处理
(1)如果未指定：空模式,匹配每一行

(2) /regular expression/：仅处理能够模式匹配到的行,需要用/ /括起来
范例:
awk /^UUID/print $1 /etc/fstab
awk !/^UUID/print $1 /etc/fstab

(3)relational expression: 关系表达式,结果为"真"才会被处理
真：结果为非0值,非空字符串
假：结果为空字符串或0值  
范例：
awk -F: i=1;j=1print i,j /etc/passwd
awk !0 /etc/passwd ; awk !1 /etc/passwd
Awk -F: $3>=1000print $1,$3 /etc/passwd
awk -F: $3<1000print $1,$3 /etc/passwd
awk -F: $NF=="/bin/bash"print $1,$NF /etc/passwd
awk -F: $NF ~ /bash$/print $1,$NF /etc/passwd

(4)line ranges:行范围
startline,endline：/pat1/,/pat2/ 不支持直接给出数字格式
awk -F: /^root\\>/,/^nobody\\>/print $1 /etc/passwd
awk -F: (NR>=10&&NR<=20)print NR,$1 /etc/passwd

(5)BEGIN/END模式
BEGIN：仅在开始处理文件中的文本之前执行一次
END：仅在文本处理完成之后执行一次
范例：
awk -F : BEGIN print "USER USERID" print $1":"$3 ENDprint "END FILE" /etc/passwd
awk -F : print "USER USERID";print $1":"$3 ENDprint "END FILE" /etc/passwd
awk -F: BEGINprint " USER UID \\n--------------- "print $1,$3 /etc/passwd

seq 10 | awk i=0
seq 10 | awk i=1
seq 10 | awk i=!i       #输出奇数
seq 10 | awk i=!i;print i
seq 10 | awk !(i=!i)    #输出偶数
seq 10 |awk -v i=1 i=!i #输出偶数

awk对于未定义的变量处理方法
对于数值运算，未定义变量的话awk会赋予变量初值为0
对于字符运算，未定义变量的话awk会赋予变量初值为空字符串

action

#1.常用的action分类
(1)Expressions：算术,比较表达式等
(2)Control statements：if, while等 
(3)Compound statements：组合语句
(4)input statements
(5)output statements：print等

#2.awk控制语句
 statements;…  组合语句
if(condition) statements;… 
if(condition) statements;… else statements;…
while(conditon) statments;…
do statements;… while(condition)
for(expr1;expr2;expr3) statements;…
break
continue
delete array[index]
delete array
exit


#3.if-else
语法：if(condition)statement;…[else statement]
     if(condition1)
       statement1
     else 
       if(condition2)
         statement2
       else
         statement3  
使用场景:对awk取得的整行或某个字段做条件判断
 范例:
awk -F: if($3>=1000)print $1,$3 /etc/passwd
awk -F: if($NF=="/bin/bash") print $1 /etc/passwd
awk if(NF>5) print $0 /etc/fstab
awk -F: if($3>=1000) printf "Common user: %s\\n",$1 
else printf "root or Sysuser: %s\\n",$1 /etc/passwd
awk -F: if($3>=1000) printf "Common user: %s\\n",$1; 
else printf "root or Sysuser: %s\\n",$1 /etc/passwd
df -h|awk -F% /^\\/dev/print $1|awk $NF>=80print $1,$5
awk BEGIN test=100;if(test>90)print "very good" 
else if(test>60) print "good"elseprint "no pass"


#4.while循环
语法：while(condition)statement;…
条件"真",进入循环；条件"假",退出循环
使用场景：
  对一行内的多个字段逐一类似处理时使用
  对数组中的各元素逐一处理时使用
范例:
awk /^[[:space:]]*linux16/i=1;while(i<=NF) 
print $i,length($i); i++ /etc/grub2.cfg
awk /^[[:space:]]*linux16/i=1;while(i<=NF) if(length($i)>=10) 
print $i,length($i); i++ /etc/grub2.cfg


#5.do-while循环
语法：do statement;…while(condition)
意义：无论真假,至少执行一次循环体
范例:
awk BEGIN total=0;i=0;do total+=i;i++;while(i<=100);print total


#6.for循环
语法：for(expr1;expr2;expr3) statement;…
常见用法：
for(variable assignment;condition;iteration process) 
for-body
特殊用法：能够遍历数组中的元素
语法：for(var in array) for-body
示例：
awk /^[[:space:]]*linux16/for(i=1;i<=NF;i++) print $i,length($i) 
/etc/grub2.cfg


#7.switch语句
语法：switch(expression) 
  case VALUE1 or /REGEXP/:statement1; 
   case VALUE2 or /REGEXP2/:statement2; 
   ...; 
   default:statementn 
 break和continue
 
awk BEGINsum=0;for(i=1;i<=100;i++)if(i%2==0)continue;sum+=iprint sum
awk BEGINsum=0;for(i=1;i<=100;i++)if(i==66)break;sum+=iprint sum

break [n]
continue [n]
next:提前结束对本行处理而直接进入下一行处理（awk自身循环）
awk -F: if($3%2!=0) next; print $1,$3 /etc/passwd


#8.性能比较
time (awk BEGIN total=0;for(i=0;i<=10000;i++)total+=i;;print total;)
time(total=0;for i in 1..10000;do total=$(($total+i));done;echo $total)
time(for ((i=0;i<=10000;i++));do let total+=i;done;echo $total)
time(seq -s "+" 10000|bc)

awk数组

关联数组：array[index-expression]
index-expression:
(1)可使用任意字符串；字符串要使用双引号括起来
(2)如果某数组元素事先不存在,在引用时,awk会自动创建此元素,并将其值初始化为"空串"
(3)若要判断数组中是否存在某元素,要使用"index in array"格式进行遍历
示例：
weekdays["mon"]="Monday" 
awk BEGINweekdays["mon"]="Monday";weekdays["tue"]="Tuesday";print weekdays["mon"]
awk !line[$0]++ dupfile
awk !line[$0]++;print $0, line[$0] dupfile


若要遍历数组中的每个元素,要使用for循环
for(var in array) for-body
注意：var会遍历array的每个索引
范例:
awkBEGINweekdays["mon"]="Monday";weekdays["tue"]="Tuesday";
for(i in weekdays) print weekdays[i]
netstat -tan | awk /^tcp/state[$NF]++ENDfor(i in state)  print i,state[i]
ESTABLISHED 1
LISTEN 6
awk ip[$1]++ENDfor(i in ip) print i,ip[i] /var/log/httpd/access_log

awk函数

#1.数值处理
rand()：返回0和1之间一个随机数
awk BEGINsrand(); for (i=1;i<=10;i++)print int(rand()*100)  

#2.字符串处理
length([s])：返回指定字符串的长度
sub(r,s,[t])：对t字符串搜索r表示模式匹配的内容,并将第一个匹配内容替换为s
echo "2008:08:08 08:08:08" | awk sub(/:/,"-",$1);print $0
2008-08:08 08:08:08
echo "2008:08:08 08:08:08" | awk sub(/:/,"-",$1)
2008-08:08 08:08:08

gsub(r,s,[t])：对t字符串进行搜索r表示的模式匹配的内容,并全部替换为s所表
示的内容
echo "2008:08:08 08:08:08" | awk gsub(/:/,"-",$0)
2008-08-08 08-08-08
echo "2008:08:08 08:08:08" | awk gsub(/:/,"-",$0);print $0
2008-08-08 08-08-08

split(s,array,[r])：以r为分隔符,切割字符串s,并将切割后的结果保存至array所
表示的数组中,第一个索引值为1,第二个索引值为2,…
netstat -tn | awk /^tcp\\>/split($5,ip,":");count[ip[1]]++
ENDfor (i in count) print i,count[i]


#3.自定义函数格式：
function name ( parameter, parameter, ... ) 
 statements
 return expression
 

范例：
cat fun.awk
---------------------------------
function max(x,y) 
x>y?var=x:var=y
return var

BEGINa=3;b=2;print max(a,b) 
---------------------------------
awk -f fun.awk

awk中调用shell命令

system命令
空格是awk中的字符串连接符,如果system中需要使用awk中的变量可以使用空格分隔
或者说除了awk的变量外其他一律用""引用起来
awk BEGINsystem("hostname")  
awk BEGINscore=100; system("echo your score is " score) 
your score is 100

awk脚本

#1.将awk程序写成脚本,直接调用或执行
范例：
cat f1.awk
 ------------------------------------
if($3>=1000)print $1,$3 
------------------------------------
awk -F: -f f1.awk /etc/passwd
 
cat f2.awk 
------------------------------------
#!/bin/awk -f
#this is a awk script
if($3>=1000)print $1,$3
------------------------------------
chmod +x f2.awk
f2.awk -F: /etc/passwd


#2.向awk脚本传递参数
格式：awkfile var=value var2=value2... Inputfile
注意：在BEGIN过程中不可用。直到首行输入完成以后,变量才可用。
可以通过-v 参数,让awk在执行BEGIN之前得到变量的值。命令行中每一个指定的变量都需要一个-v参数
范例：
cat test.awk 
------------------------------------
#!/bin/awk -f
if($3 >=min && $3<=max)print $1,$3 
------------------------------------
chmod +x test.awk
test.awk -F: min=100 max=200 /etc/passwd