Linux Shell编程四剑客-awk

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux Shell编程四剑客-awk相关的知识,希望对你有一定的参考价值。

awk
语法

awk 【option】 pattern action filename
program:pattern+action

如果action中有多个语句,需要用;分隔
eg:awk ‘BEGIN{test="hello gawk";print test}‘
1、print
print item1,item2, ...
    1)逗号分隔符
    2)输出的各item可以是字符串,也可以是数值:当前记录的字段、变量或awk的表达式
    3)如省略item,相当于print $0;
2、变量

    在awk中引用变量是不需要使用$的,注意使用$和不使用$的区别
    2.1 內建变量
        FS:input field separator,默认为空白字符
        OFS: output field separator,默认为空白字符
        RS:input record separator,默入时的换行符
        ORS:output record separator,输出时的换行符

            eg:
              

 awk ‘BEGIN{FS=":";OFS="\t"}NR==1{print $1,$2}‘ /etc/passwd
 awk  -v FS=":" -v OFS="\t" ‘NR==1{print $1,$2}‘ /etc/passwd


        NF:number of field,字段数量
            {print NF},{print $NF}
        NR:number of record,行数
        FNR:各文件分别计数:行数
        FILENAME
            awk ‘{print FILENAME}‘ /etc/fstab
        ARGC:命令行参数的个数
            awk ‘BEGIN{print ARGC}‘ /etc/fstab
        ARGV:保存的是命令行所给定的各参数
            awk ‘BEGIN{print ARGV[1]}‘ /etc/fstab
    2.2自定义变量
        1)变量名区分大小写
            -v var=value
          

 awk -v test="hello gawk" ‘{print test}‘ /etc/fstab
 awk -v test="hello gawk" ‘BEGIN{print test}‘

            2)在pattern中直接定义
              

 awk ‘BEGIN{test="hello gawk";print test}‘

            3)在action中直接定义,不同命令之间用;和在pattern中定义是有区别的
              

  awk ‘/^title/{i=1;print $0}‘ /etc/grub.conf

3、printf命令
    格式化输出:printf FORMAT,item1,item2,...
        1)FORMAT必须给出
        2)不会自动换行,需要显示给出换行控制符 \n
        3)FORMAT中需要分别为后边的每个item指定一个格式化符号
    格式符:
                %c:显示字符的ASCII码
                %d,%i:显示十进制整数
                %e,%E:科学计数法数值显示
                %f:显示为浮点数
                %g,%G:以科学计数法或浮点形式显示数值
                %s:显示字符串
                %u:无符号整数
                %%:显示%自身
 eg:

awk ‘{printf "%s\n",$1}‘ /etc/fstab
awk ‘{printf "username:\t%s\n",$1}‘ /etc/fstab
awk ‘{printf "filesytem:\t%s\tsize:\t%d\n",$1,$2}‘ /etc/fstab

技术分享

    修饰符:
                    number[.number]第一个数字控制显示的宽度:第二个数字表示小数点之后的精度
                        %3.1f

                    -:左对齐

                    +:显示数字的符号


eg:

awk ‘{printf "filesytem:\t%15s\tsize:\t%d\n",$1,$2}‘ /etc/fstab  (默认是右对齐)

技术分享

*注意和上图的区别

awk ‘{printf "filesytem:%-15s\tsize:\t%d\n",$1,$2}‘ /etc/fstab   (左对齐结果)

技术分享

4、操作符
        算术操作符
            x+y,x-y,x*y,x/y,x^y,x%y
            -x
            +x:把一个字符串转换为数值
        字符串操作符:没有符号的操作符,表示字符串连接
        赋值操作符:
            =,+=,-=,/=,%=,*=
            ++,--
        比较操作符
            >,>=,<,<=,!=,==
        模式匹配符:
            ~:左侧的模式是否能被右侧的模式匹配
            !~:是否不能被匹配
        逻辑操作符
            &&
            ||
            !
        函数调用:
            functon_name(argu1,argu2,...)可见bash是一种奇葩的编程语言,这才是正规的
        条件表达式(属于一种action,下边第6条有详解):
            selector?if-true-expression:if-false-expression
        eq:
            

awk -F: ‘{$3>=500?usertype="Common User":usertype="System User";printf "%-15s:%s\n",$1,usertype}‘ /etc/passwd

技术分享

5、pattern(指定执行的地址范围;地址定界)
        1)empty:空模式,匹配每一行:
        2)/regular expression/:仅处理能够被此处的模式匹配的行
            eg:
                

awk ‘/^\//{print $1}‘  /etc/fstab

技术分享

                对匹配到的内容去反

                

awk ‘!/^\//{print $1}‘ /etc/fstab

技术分享

        3)relational expression:关系表达式:结果有“真”有“假”:结果为真的才被处理
            真:结果为非0值,非空字符串
              

 awk -F: ‘$3>=500{print $1,$3}‘ /etc/passwd

技术分享

                最后一列(域)等于/bin/bash

               

awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd

技术分享

               利用前边讲到的模式匹配~

               

awk -F: ‘$NF~/bash$/{print $1,$NF}‘ /etc/passwd

技术分享

        4)line range:行范围
        startline,endline
          

 awk -F: ‘NR>=2&&NR<=10{print $1}‘ /etc/passwd

            再来插入下语法加强记忆:awk [option] pattern action

技术分享

        5)BEGIN/END模式
            BEGIN{}:仅在开始处理文件中的每一行文本之前执行一次
            END{}:仅在文本处理完成之后执行一次
            eg:
                

awk -F: ‘BEGIN{print "\tusername\tuid\n------------------------------"}NR>=1&&NR<=5{print $1,$3}‘ /etc/passwd

技术分享

                注意这个例子和上个例子的区别,BEGIN的内容放到主程序里边了

                

awk -F: ‘NR>=1&&NR<=5{print "\tusername\tuid\n------------------------------";print $1,$3}‘ /etc/passwd

技术分享

                

awk -F: ‘BEGIN{print "\tusername\tuid\n------------------------------"}NR>=1&&NR<=5{print $1,$3}END{print "=====================end=========================="}‘ /etc/passwd

技术分享


    6、常用的action
        1)expressions表达式
        2)control statements控制语句(以下第7条有详解)
            if
            while
        3)compound statements组合语句
        4)input statements输入语句
        5)outpput statements输出语句
    7、控制语句
        if(condition) {statements}
        if(condition) {statements} else {statements}
        while(condition) {statements}
        do {statements} while(condition)
        for(expr1;expr2;expr3) {statements}
        break
        continue
        delete array[index]
        delete array
        exit
        {statements}
        7.1 if-else
            语法:if(condition) {statements} else {statements}

                单分支:

               

awk -F: ‘{if($3>=500) {print $1,$3}}‘ /etc/passwd

技术分享

            双分支
                

awk -F: ‘NR>=1&&NR<=5{if($3>=500) {printf "Common User:%s\n",$1} else {printf "System User:%s\n",$1}}‘ /etc/passwd

技术分享

            使用场景:对awk取得的整行或某个字段做条件判断
                行的字段(域)数大于5,输出行
              

 awk ‘{if(NF>5) {print $0}}‘ /etc/fstab

            练习:输出使用率大于20%的分区
                

df -h | awk -F% ‘{print $1}‘ | awk ‘NR>=2{if($NF>70){print $1}}‘

        7.2 while循环
            语法:while(condition) {statements}
                条件真,进入循环;条件假,退出循环
            使用场景:对一行内的多个字段逐一类似处理时使用,对数组中的各元素逐一处理时使用
            练习:对某一行处理,并统计每个字段的长度
          

 awk ‘/^title.* 6 .*/{i=1;while(i<=NF){print $i,length($i);i++}}‘ /etc/grub.conf

            添加修饰符
            

awk ‘BEGIN{print "---------total-----------"}/^title.* 6 .*/{i=1;while(i<=NF){printf"%-25s\t%i\n",$i,length($i);i++}}END{print "===========end==========="}‘ /etc/grub.conf

            加深难度:在原有题意上添加需求:字段大于等于5的输出
            解题思路:在while中嵌套if
            

awk ‘BEGIN{print "---------total-----------"}/^title.* 6 .*/{i=1;while(i<=NF){if(length($i)>=5){printf"%-25s\t%i\n",$i,length($i)};i++}}END{print "===========end==========="}‘ /etc/grub.conf

    后续其他控制语句就不列举了,awk如此博大精深,如果用不到它的所有功能,不需要全部掌握,否则反而不利于记忆,以上能够掌握就已经够平时工作使用了。


本文出自 “zhaoyfcomeon-成长之路” 博客,请务必保留此出处http://zhaoyfcomeon.blog.51cto.com/8429349/1959685

以上是关于Linux Shell编程四剑客-awk的主要内容,如果未能解决你的问题,请参考以下文章

shell 编程四剑客简介 find sed grep awk(微信公众号摘抄)

SHELL编程四剑客练习--awk

SHELL用法六(Find语句)

shell四剑客awk

SHELL编程四剑客练习--sed

Shell编程之正则表达式三剑客——awk工具