Linux Shell编程四剑客-awk

Posted 2020-10-04

awk
【语法】

awk 【option】 pattern action filename
program：pattern+action

如果action中有多个语句，需要用;分隔
eg:awk ‘BEGIN{test="hello gawk";print test}‘
1、print
print item1,item2, ...
    1)逗号分隔符
    2)输出的各item可以是字符串，也可以是数值：当前记录的字段、变量或awk的表达式
    3)如省略item,相当于print $0;
2、变量

    在awk中引用变量是不需要使用$的，注意使用$和不使用$的区别
    2.1 內建变量
        FS:input field separator,默认为空白字符
        OFS: output field separator,默认为空白字符
        RS:input record separator,默入时的换行符
        ORS:output record separator,输出时的换行符

            eg:
              

 awk ‘BEGIN{FS=":";OFS="\t"}NR==1{print $1,$2}‘ /etc/passwd
 awk  -v FS=":" -v OFS="\t" ‘NR==1{print $1,$2}‘ /etc/passwd

        NF:number of field,字段数量
            {print NF},{print $NF}
        NR:number of record,行数
        FNR:各文件分别计数:行数
        FILENAME
            awk ‘{print FILENAME}‘ /etc/fstab
        ARGC:命令行参数的个数
            awk ‘BEGIN{print ARGC}‘ /etc/fstab
        ARGV:保存的是命令行所给定的各参数
            awk ‘BEGIN{print ARGV[1]}‘ /etc/fstab
    2.2自定义变量
        1）变量名区分大小写
            -v var=value
          

 awk -v test="hello gawk" ‘{print test}‘ /etc/fstab
 awk -v test="hello gawk" ‘BEGIN{print test}‘

            2）在pattern中直接定义
              

 awk ‘BEGIN{test="hello gawk";print test}‘

            3）在action中直接定义，不同命令之间用;和在pattern中定义是有区别的
              

  awk ‘/^title/{i=1;print $0}‘ /etc/grub.conf

3、printf命令
    格式化输出:printf FORMAT,item1,item2,...
        1)FORMAT必须给出
        2)不会自动换行，需要显示给出换行控制符 \n
        3)FORMAT中需要分别为后边的每个item指定一个格式化符号
    格式符:
                %c:显示字符的ASCII码
                %d,%i:显示十进制整数
                %e,%E:科学计数法数值显示
                %f:显示为浮点数
                %g,%G:以科学计数法或浮点形式显示数值
                %s:显示字符串
                %u:无符号整数
                %%:显示%自身
 eg:

awk ‘{printf "%s\n",$1}‘ /etc/fstab
awk ‘{printf "username:\t%s\n",$1}‘ /etc/fstab
awk ‘{printf "filesytem:\t%s\tsize:\t%d\n",$1,$2}‘ /etc/fstab

    修饰符:
                    number[.number]第一个数字控制显示的宽度：第二个数字表示小数点之后的精度
                        %3.1f

                    -：左对齐

                    +：显示数字的符号

eg:

awk ‘{printf "filesytem:\t%15s\tsize:\t%d\n",$1,$2}‘ /etc/fstab  （默认是右对齐）

*注意和上图的区别

awk ‘{printf "filesytem:%-15s\tsize:\t%d\n",$1,$2}‘ /etc/fstab   （左对齐结果）

4、操作符
        算术操作符
            x+y,x-y,x*y,x/y,x^y,x%y
            -x
            +x:把一个字符串转换为数值
        字符串操作符：没有符号的操作符，表示字符串连接
        赋值操作符：
            =,+=,-=,/=,%=,*=
            ++,--
        比较操作符
            >,>=,<,<=,!=,==
        模式匹配符：
            ~：左侧的模式是否能被右侧的模式匹配
            !~:是否不能被匹配
        逻辑操作符
            &&
            ||
            !
        函数调用:
            functon_name(argu1,argu2,...)可见bash是一种奇葩的编程语言，这才是正规的
        条件表达式（属于一种action，下边第6条有详解）：
            selector?if-true-expression:if-false-expression
        eq:
            

awk -F: ‘{$3>=500?usertype="Common User":usertype="System User";printf "%-15s:%s\n",$1,usertype}‘ /etc/passwd

5、pattern（指定执行的地址范围；地址定界）
        1)empty:空模式，匹配每一行：
        2)/regular expression/:仅处理能够被此处的模式匹配的行
            eg:
                

awk ‘/^\//{print $1}‘  /etc/fstab

                对匹配到的内容去反

                

awk ‘!/^\//{print $1}‘ /etc/fstab

        3)relational expression:关系表达式:结果有“真”有“假”：结果为真的才被处理
            真：结果为非0值,非空字符串
              

 awk -F: ‘$3>=500{print $1,$3}‘ /etc/passwd

                最后一列（域）等于/bin/bash

               

awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd

               利用前边讲到的模式匹配~

               

awk -F: ‘$NF~/bash$/{print $1,$NF}‘ /etc/passwd

        4)line range：行范围
        startline,endline
          

 awk -F: ‘NR>=2&&NR<=10{print $1}‘ /etc/passwd

            再来插入下语法加强记忆：awk [option] pattern action

        5)BEGIN/END模式
            BEGIN{}：仅在开始处理文件中的每一行文本之前执行一次
            END{}：仅在文本处理完成之后执行一次
            eg：
                

awk -F: ‘BEGIN{print "\tusername\tuid\n------------------------------"}NR>=1&&NR<=5{print $1,$3}‘ /etc/passwd

                注意这个例子和上个例子的区别，BEGIN的内容放到主程序里边了

                

awk -F: ‘NR>=1&&NR<=5{print "\tusername\tuid\n------------------------------";print $1,$3}‘ /etc/passwd

                

awk -F: ‘BEGIN{print "\tusername\tuid\n------------------------------"}NR>=1&&NR<=5{print $1,$3}END{print "=====================end=========================="}‘ /etc/passwd

    6、常用的action
        1）expressions表达式
        2）control statements控制语句(以下第7条有详解)
            if
            while
        3）compound statements组合语句
        4）input statements输入语句
        5）outpput statements输出语句
    7、控制语句
        if(condition) {statements}
        if(condition) {statements} else {statements}
        while(condition) {statements}
        do {statements} while(condition)
        for(expr1;expr2;expr3) {statements}
        break
        continue
        delete array[index]
        delete array
        exit
        {statements}
        7.1 if-else
            语法：if(condition) {statements} else {statements}

                单分支：

               

awk -F: ‘{if($3>=500) {print $1,$3}}‘ /etc/passwd

            双分支
                

awk -F: ‘NR>=1&&NR<=5{if($3>=500) {printf "Common User:%s\n",$1} else {printf "System User:%s\n",$1}}‘ /etc/passwd

            使用场景：对awk取得的整行或某个字段做条件判断
                行的字段（域）数大于5，输出行
              

 awk ‘{if(NF>5) {print $0}}‘ /etc/fstab

            练习：输出使用率大于20%的分区
                

df -h | awk -F% ‘{print $1}‘ | awk ‘NR>=2{if($NF>70){print $1}}‘

        7.2 while循环
            语法：while(condition) {statements}
                条件真，进入循环；条件假，退出循环
            使用场景：对一行内的多个字段逐一类似处理时使用，对数组中的各元素逐一处理时使用
            练习：对某一行处理，并统计每个字段的长度
          

 awk ‘/^title.* 6 .*/{i=1;while(i<=NF){print $i,length($i);i++}}‘ /etc/grub.conf

            添加修饰符
            

awk ‘BEGIN{print "---------total-----------"}/^title.* 6 .*/{i=1;while(i<=NF){printf"%-25s\t%i\n",$i,length($i);i++}}END{print "===========end==========="}‘ /etc/grub.conf

            加深难度：在原有题意上添加需求：字段大于等于5的输出
            解题思路：在while中嵌套if
            

awk ‘BEGIN{print "---------total-----------"}/^title.* 6 .*/{i=1;while(i<=NF){if(length($i)>=5){printf"%-25s\t%i\n",$i,length($i)};i++}}END{print "===========end==========="}‘ /etc/grub.conf

    后续其他控制语句就不列举了，awk如此博大精深，如果用不到它的所有功能，不需要全部掌握，否则反而不利于记忆，以上能够掌握就已经够平时工作使用了。

本文出自 “zhaoyfcomeon-成长之路” 博客，请务必保留此出处http://zhaoyfcomeon.blog.51cto.com/8429349/1959685