awk程序设计语言之-awk基础

Posted 郭子仪

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了awk程序设计语言之-awk基础相关的知识,希望对你有一定的参考价值。

awk程序设计语言之-awk基础

  1 http://man.linuxde.net/
  2 
  7 
  8 常用工具命令之awk命令
  9     awk是一种编程语言,用于在Linux/Unix下对文本和数据处理。数据可以来自标准输入(stdin)、一个或多个文件,或其他命令的输出。它支持用户自定义函数和动态正则表达式
 10     等先进功能,是Linux/unix下的一个强大编程工具。它在命令行中使用,但更多是作为脚本来使用,awk有很多内建功能,比如数组、函数等,这是它和c语言的相同之处,灵活性
 11     是awk最大的优势。
 12 
 13 awk命令格式和选项
 14     语法形式
 15         awk [options] ‘script‘ var=value file(s)
 16         awk [options] -f ‘scriptfile‘ var=value file(s)
 17     常用命令选项
 18         -F fs    fs指定输入分隔符,fs可以是字符串或正则表达式,如-F;
 19         -v var=value    赋值一个用户自定义变量,将外部变量传递给awk;
 20         -f scriptfile    从脚本文件中读取awk命令
 21         -m[fr] val    对var值设置内在限制,-mf选项限制分配给val的最大块数目;-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能,在标准awk中不适用。
 22     awk模式和操作
 23 awk脚本是由模式和操作组成的。
 24     模式
 25         模式可以是以下的任意一个
 26             /正则表达式/:使用通配符的扩展集。
 27             关系表达式:使用运算符进行操作,可以是字符串或数字的比较测试。
 28             模式匹配表达式:用运算符~(匹配)和~!(不匹配)
 29             BEGIN语句块、pattern语句块、END语句块
 30     操作
 31         操作是由一个或多个命令、函数、表达式组成,之间由换行符或分号隔开,并位于大括号中,主要部分是
 32             变量或数组赋值
 33             输出命令
 34             内置函数
 35             控制流语句
 36     awk脚本基本结构
 37         awk ‘BEGIN{print "start" } pattern{ commands} END{print "end"}‘ file
 38 
 39         一个awk脚本通常由BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成,这三个部分是可选的。任意一个部分都可以不出现在脚本中,脚本通常是被但引或者
 40         双引中。例如:
 41             awk ‘BEGIN{i=0} {i++} END{print i}‘ filename
 42             awk "BEGIN{ i=0} {i++ }END{print i}" filename
 43     awk的工作原理
 44         awk ‘BEGIN{ commands } pattern{ commands } END{ commands }‘
 45         第一步:执行BEGIN{commands} 语句块中的语句;
 46         第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{commands}语句块中的语句,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件读取完毕。
 47         第三步:当读入输入流末尾时,执行END{commands}语句块。
 48 
 49         BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
 50 
 51         END语句块在awk输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它是一个可选语句块。
 52 
 53         pattern语句块中的通用命令是最重要的部分,他也是可选的,如果没有提供pattern语句块,则默认执行{print},即打印每一个读取到的行,awk的每一行都会执行该语句块
 54 
 55     例子
 56         echo -e "A line 1\nA line 2" | awk ‘BEGIN{ print "start" }{ print } END{ print "end"}‘
 57         当使用不带参数的print时,它就打印当前行,当print的参数是以逗号进行分隔时,打印时则以空格作为定界符。在awk的print语句块中的双引号是被当作拼接符使用
 58         例如:
 59         echo | awk ‘{ var1="v1"; var2="v2"; var3="v3"; print var1,var2,var3; }‘
 60         双引号拼接使用:
 61         echo | awk ‘{ var1="v1"; var2="v2"; var3="v3"; print var1"="var2"="var3; }‘
 62         {}类似一个循环体,会对文件中的每一行进行迭代,通常变量初始化语句(如:i=0)以及打印文件头部的语句放入BEGIN块中将打印的结果等语句放在END语句块中。
 63     
 64     awk内置变量(预定义变量)
 65         说明:[A][N][P][G]表示第一个支持变量的工具,【A】=awk、【N】=nawk、【P】=POSIXawk、【G】=gawk
 66 
 67         $n 当前记录的第n个字段,比如n为1表示第一个字段,n为2表示第二个字段。
 68         $0 这个变量包含执行过程中当前行的文本内容。
 69         [N] ARGC 命令行参数的数目。
 70         [G] ARGIND 命令行中当前文件的位置(从0开始算)。
 71         [N] ARGV 包含命令行参数的数组。
 72         [G] CONVFMT 数字转换格式(默认值为%.6g)。
 73         [P] ENVIRON 环境变量关联数组。
 74         [N] ERRNO 最后一个系统错误的描述。
 75         [G] FIELDWIDTHS 字段宽度列表(用空格键分割)。
 76         [A] FILENAME 当前输入文件的名。
 77         [P] FNR 同NR,但相对于当前文件。
 78         [A] FS 字段分隔符(默认是任何空格)
 79         [G] IGNORECASE 如果为真,则进行忽略大小写的匹配。
 80         [A] NF 表示字段数,在执行过程中对应于当前的字段数
 81         [A] NR 表示记录数,在执行过程中对应小于当前的行号。
 82         [A] OFMT 数字的输出格式(默认值是%.6g)
 83         [A] OFS 输出字段分隔符(默认是一个空格)
 84         [A] ORS 输出记录分隔符(默认值是一个换行符)
 85         [A] RS 记录分隔符(默认是一个换行符)
 86         [N] RSTART 由match函数所匹配的字符串的第一个位置。
 87         [N] RLENGTH 由match函数所匹配的字符串的长度。
 88         [N] SUBSEP 数组下标分隔符(默认值是34)。
 89 
 90     示例
 91         echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | awk ‘{print "line No :"NR",NO of fields:"NF, "$0="$0, "$1="$1, "$2="$2, "$3="$3}‘
 92         Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3 
 93         Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5 
 94         Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7
 95 
 96         使用print $NF 可以打印出一行中的最后一个字段,使用$(NF-1)则是打印倒数第二个字段,其他以此类推:
 97             echo -e "line1 f2 f3\n line2 f4 f5" | awk ‘{print $NF}‘
 98             f3
 99             f5
100             echo -e "line1 f2 f3\n line2 f4 f5" | awk ‘{print $(NF-1)}‘
101             f2 
102             f4
103             打印每一行中的第二个和第三个字段:
104             awk ‘{ print $2,$3 }‘ filename
105             统计文件中的行数:
106             awk ‘END{print NR }‘ filename
107 
108             以上命令只使用了END语句块,在读入每一行的时,awk会将NR更新为对应的行号,当到达最后一行NR的值就是最后一行的行号,所以END语句块
109             中NR就是文件的行数。
110 
111         一个每一行中第一个字段值累加的例子
112             seq 5 | awk ‘BEGIN{ sum=0; print "总和:"} {print $1"+"; sum+=$1} END{print "等于" ; print sum}‘
113             总和: 1+ 2+ 3+ 4+ 5+ 等于 15
114         
115         将外部变量值传递给awk
116             借助-v选项,可以将外部值(并非来自stdin)传递给awk;
117             VAR = 10000
118             echo | awk -v VARIABLE=$VAR ‘{print VARIABLE}‘
119         
120         另一种传递外部变量方法:
121             var1="aaa"
122             var2="bbb"
123             echo | awk ‘{print v1,v2}‘ v1=$var1 v2=$var2
124 
125         当输入来自文件时使用
126             awk ‘{print v1,v2}‘ v1=$var1 v2=$var2 filename
127             以上方法中,变量之间用空格分隔作为awk的命令行参数跟随在BEGIN、{}和END语句块之后。
128 
129         awk运算与判断
130             作为一种程序设计语言所应具有的特点之一,awk支持多种运算,这些运算与c语言提供的基本相同。awk还提供了一系列内置的运算函数(如log、sqr
131             cos、sin等)和一些用于对字符串进行操作的函数(如length、substr等等)。这些函数的引用大大的提高了awk的运算功能。作为对条件转移指令的
132             一部分,关系判断是每种程序设计语言都具有的功能, awk也不例外,awk允许进行多种测试,作为样式匹配,还提供了模式匹配表达式~(匹配)和
133             ~!(不匹配)。作为对测试的一种扩充,awk也支持用逻辑运算符。
134 
135         算术运算符
136             运算符            描述
137             + -            加,减
138             */&            乘,除与求余
139             + - !            一元加,减和逻辑非
140             ^ ***            求幂
141             ++ --            增加或减少,作为前缀或后缀
142 
143             例:
144                 awk ‘BEGIN{a="b";print a++, ++a;}‘
145                 0 2 
146             注意:所有用算数运算符进行操作,操作数自动转为数值,所有非数值都变为0
147 
148         复制运算符
149             运算符            描述
150             = += -+ *= /= %= ^= **=    赋值语句
151             例:
152             a+=5; 等价于:a=a+5;其他同类
153 
154         逻辑运算符
155             运算符            描述
156             ||            逻辑或
157             &&            逻辑与
158             例:
159             awk ‘BEGIN{a=1;b=2;print(a>5 && b<=2),(a>5 || b<=2);}‘
160             0 1
161 
162         正则运算符
163             运算符            描述
164             ~ ~!            匹配正则表达式和不匹配正则表达式
165             例:
166             awk ‘BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}‘
167             ok 
168 
169         关系运算符
170             运算符            描述
171             < <= > >= != ==        关系运算符
172 173             awk ‘BEGIN{a=11;if(a>=9){print "OK";}}‘
174             OK
175 
176             注意:> <可以作为字符串比较,也可以作为数值比较,关键看操作数如果操作数是字符串就会转换成字符串比较。两个都为数字才转为数值比较。
177             字符串比较:按照ASCII码顺序比较。
178 
179         其他运算符
180             运算符            描述
181             $            字段引用
182             空格            字符串连接符
183             ?:            C条件表达式三目运算符
184             in            数组中是否存在某键值
185 
186             例:
187             awk ‘BEGIN{a="b";print a=="b"?"ok":"err";}‘
188             ok
189             
190             awk ‘BEGIN{a="b";arr[0]="b";arr[1]="c";print(a in arr);}‘
191             0
192 
193             awk ‘BEGIN{a="b";arr[0]="b";arr["b"]="c"; print(a in arr);}‘
194             1(不懂)
195 
196         运算符优先级表
197             级别        运算符                    说明
198             1    =、+=、-=等                赋值、运算、赋值
199             2    ||                    逻辑或
200             3    &&                    逻辑与
201             4    |                    按位或
202             5    ^                    按位异或
203             6    &                    按位与
204             7    ==、!=                    等于、不等于
205             8    <=,>=,<,>                小于等于、大于等于、大于、小于
206             9    << >>                    按位左移,按位右移
207             10    +,-                    加、减
208             11    *,/,%                    乘、除、取模
209             12    !~                    不等于,按位取反或补码
210             13    -,+                    负,正
211             级别越高越优先 所以级别13为优先级最高。
212 
213         awk高级输入输出
214                 读取下一条记录
215             awk中next语句使用:在循环逐行匹配,如果遇到next,就会跳过当前行,直接忽略下面的语句。而进行下一行匹配next语句一般用于多行合并
216             cat text.txt
217             a
218             b
219             c
220             d
221             e
222             awk ‘NR%2==1{next}{print NR,$0;}‘ text.txt
223             2 b
224             4 d
225 
226             cat text.txt 
227                 web01[192.168.2.100] 
228                 httpd ok 
229                 tomcat ok 
230                 sendmail ok 
231                 web02[192.168.2.101] 
232                 httpd ok 
233                 postfix ok 
234                 web03[192.168.2.102] 
235                 mysqld ok 
236                 httpd ok 0 
237             awk ‘/^web/{T=$0;next;}{print T":t"$0;}‘ test.txt
238             awk ‘/^web/{T=$0;next;}{print T":t"$0;}‘ test.txt
239                 web01[192.168.2.100]: httpd ok 
240                 web01[192.168.2.100]: tomcat ok 
241                 web01[192.168.2.100]: sendmail ok 
242                 web02[192.168.2.101]: httpd ok 
243                 web02[192.168.2.101]: postfix ok 
244                 web03[192.168.2.102]: mysqld ok 
245                 web03[192.168.2.102]: httpd ok
246             $0 指的是当前的读取行
247 
248         简单的读取一条记录
249             awk getline用法:输出重定向需用到getline函数。getline从标准输入、管道或者当前正在处理的文件之外的其他输入文件获得输入。它负责从输入
250             获得下一行的内容,并给NF,NR和FNR等内建变量赋值。如果得到一条记录,getline函数返回1,如果到达文件的末尾就返回0,如果出现错误,例如文件
251             打开失败,就返回-1252             
253             getline语法:getline var ,变量var包含了特定行的内容。
254 
255             awk getline从整体上来说,用法说明:
256                 当其左右无重定向符|或者<时:getline作用于当前文件,读入当前文件的第一行给其后跟的变量var或$0,应该注意到,由于awk在处理
257             getline之前已经读入了一行,所以getline得到的返回结果是隔行的。
258                 当其左右有重定向符|或者<时:getline作用于重定向文件,由于文件是刚打开的,并没有被awk读入一行,只是getline读入,那么getline
259             返回的是该文件的第一行,而不是隔行。
260 
261             示例:
262             执行Linux的date命令,并通过管道输出给getline,然后再把输出赋值给自定义变量out,并打印它。
263             awk ‘BEGIN{"date" | getline out; print out}‘ test
264 
265             执行shell的date命令,并通过管道输出给getline,然后getline从管道中读取并将输入赋值给out,split函数把变量out转化成数组mon,然后打印数组的第二个元素:
266             awk ‘BEGIN{ "date" | getline out;split(out,mon); print mon[2] }‘ test
267 
268             命令ls的输出传递给getline作为输入,循环使getline从ls的输出中读取一行,并把它打印到屏幕。这里没有输入文件,因为BEGIN块在打开输入文件前执行,
269             所以可以忽略输入文件。
270             awk ‘BEGIN{while("ls" | getline) print }‘
271 
272         关闭文件
273             awk中允许在程序中关闭一个输入或者输出文件,方法是使用awk的close语句。
274                 close("filename")
275             filename 可以是getline打开的文件,也可以是stdin,包含文件名的变量或者getline使用的确切命令。或一个输出文件,可以是stdout,包含文件名的变量或使用
276             管道的确切命令。
277 
278         输出到一个文件
279             awk中允许用如下方式将结果输出到一个文件:
280             echo | awk ‘{printf("hello word!/n") > "datafile"}‘    或     echo | awk ‘{printf("hello word!n") >> "datafile"}‘
281 
282         设置字段定界符
283             默认的字段定界符是空格    ,可以使用-F “定界符”明确指定一个定界符:
284             awk -F: ‘{print $NF}‘ /etc/passwd 或 awk ‘BEGIN{ FS=":"} {print $NF}‘ /etc/passwd
285             在BEGIN语句块中则可以用OFS=“定界符”设置输出字段的定界符。
286 
287 
288         流程控制语句
289             在Linux awk的while、do-while、和for语句中允许使用break,continue语句来控制流程走向,也允许使用exit这样的语句来退出。break中断当前正在执行的循环
290             并跳到循环外下一条语句。if是流程选择用法。awk中,流程控制语句,语法结构,与c语言类型。有了这些语句,其实很多shell程序都可以交给awk,而且性能也是
291             非常快的。下面各个语句:
292 
293         条件判断语句
294             if(表达式){
295             语句1
296else297             语句2
298 299 
300             格式中语句1可以是多个语句,为了方便判断和阅读,最好将多个语句用{}括起来,awk分枝结构允许嵌套,其格式为:
301             if(表达式){
302             语句1
303else if(表达式){
304             语句2
305else306             语句3
307 308 
309             示例:
310             awk ‘BEGIN{
311             test=100;
312             if(test>90){
313             print "very good";
314             }else if(test>60){
315             print "good";
316             }else{
317             print "No pass";
318             }
319             }320         输出 very good
321         每条命令以分号(;)结尾。
322 
323         循环语句
324         while语句
325             while(表达式)
326             {语句}
327 
328             示例:
329             awk ‘BEGIN{
330             test=100;
331             total=0;
332             while(i<=test){
333             total+=i;
334             i++;
335             }
336             print total;
337             }338             输出5050
339 
340         for循环
341         for循环有两种格式:
342             格式1:
343             for(变量 in 数组){
344             语句
345 346 
347             示例:
348             awk ‘BEGIN{
349             for(k in ENVIRON){
350             print k"="ENVIRON[k];
351             }
352             }353             注:ENVIRON是awk常量,是子典型数组。
354 
355             格式2:
356             for(变量;条件;表达式){
357             语句
358 359 
360             示例:
361             awk ‘BEGIN{
362             total=0;
363             for(i=0;i<=100;i++){
364             total+=i;
365             }
366             print total;
367             }368             结果:5050369 
370         do循环
371             do{语句}
372             while(条件)
373 
374             示例:
375             awk ‘BEGIN{
376             total=0;
377             i=0;
378             do{total+=i;i++;}
379             while(i<=100380             print total;
381             }382             结果 5050
383 
384         其他语句
385             break 当break语句用于while或for语句时,导致退出程序循环。
386             continue 当continue语句用于while或for语句时,使程序循环移动到下一个迭代。
387             next 能够导致读入下一个输入行,并返回到脚本的顶部。这可以避免对当前输入行执行其他的操作过程。
388             exit 语句使主输入循环退出并将控制转移到END,如果END存在的话。如果没有定义END规则,或在END中应用exit语句,则终止脚本的执行。
389 
390 
391         数组应用
392             数组是awk的灵魂,处理文本中最不能少的就是它的数组处理。因为数组索引(下标)可以是数字和字符串在awk中数组叫做关联数组。
393             awk中不必提前声明数组,也不必声明数组大小。数组元素用0或者空来初始化,这根据上下文而定。
394 
395             数组的定义
396                 数字做数组索引(下标):
397                 Array【1】=“sun”;
398                 Array【2】=“kai”;
399                 字符串做数组索引:
400                 Array【“first”】=“www”;
401                 Array【“last”】=“name”;
402                 Array【“birth”】=“1978”;
403 
404                 使用print Array【1】会打印出sun;
405 
406             读取数组的值
407for(item in array){print array【item】};}        //输出的顺序是随机的
408for(i=1;i<=len;i++){print array【i】};}        //len是数组的长度
409 
410             数组相关函数
411                 1、length(数组)    #返回字符串或者数组长度
412                 2、split(字符串)    #将字符串分割成数组,并返回数组长度
413                 3、asort(数组)    #对数组进行排序,并返回数组长度
414 
415                 例子:
416                 awk ‘BEGIN{info=“it is a test”;lens=split(info,tA,“ ”);print length(tA),lens;}’    4 4
417                 awk ‘BEGIN{info=“it is a test”;split(info,tA,“ ”);print asort(tA);}’            4
418 
419             输出数组内容(无序,有序)
420                 awk ‘BEGIN{info=“it is a test”;split(info,tA,“ ”);for(k in tA){print k,tA【k】;}}’(无序)
421                 awk ‘BEGIN{info=“it is a test”;tlen=split(info,tA,“ ”);for(k=1;k<=tlen;k++){print k,tA【k】;}}’(有序)
422 
423                 注意: 数组下标是从1开始,与java数组不一样。
424 
425             判断键值存在以及删除键值:
426                 awk ‘BEGIN{tB【“a”】=“a1”;tB【“b”】=“b1”;if(tB【“c”】!=1){print “no found”;};for(k in tB){print k,tB【k】;}}’
427                 (错误的判断)
428                 awk ‘BEGIN{tB【“a”】=“a1”;tB【“b”】=“b1”;if(“c” in tB){print “ok”;};for(k in tB){print k,tB【k】;}}’
429                 (正确的判断)
430                 awk ‘BEGIN{tB【“a”】=“a1”;tB【“b”】=“b1”;delete tB【“a”】;for(k in tB){print k,tB【k】;}}’
431                 (删除键值:delete array【key】可以删除,对应数组key的序列值。)
432 
433             二维、多维数组的使用
434                 awk的多维数组本质上是一维数组,更确切一点,awk在存储上并不支持多维数组。awk提供了逻辑上模拟二维数组的访问方式。例如,
435                 array【2,4】=1这样是允许的。
436                 awk使用一个特殊的字符串SUBSEP作为分割字段。
437 
438                 类似一维数组的成员检测,多维数组可以使用if((i,j) in array)这样的语法,但是下标必须放置在圆括号中,类似一维数组的循环访问,
439                 多维数组使用for(item in array)这样的语法遍历数组。与一维数组不同的是,多维数组必须使用split()函数来访问单独的下标分量。
440 
441                 awk ‘BEGIN{
442                 for(i=1;i<=9;i++){
443                     for(j=1;j<=9;j++){
444                     tarr[i,j]=i*j;print i, "*",j,"=",tarr[i,j];
445 446 447                 }’
448                 (二维数组,乘法口诀)
449                 
450                 另一种方法:
451                 awk ‘BEGIN{
452                 for(i=1;i<=9;i++){
453                     for(j=1;j<=9;j++){
454                         tarr【i,j】=i*j;
455 456 457                 for(m in tarr){
458                     split(m,tarr2,SUBSEP);print tarr2[1],"*",tarr2[2],"=",tarr[m];
459 460                 }’
461 
462         内置函数
463             awk内置函数,主要分以下3种类型:算术函数、字符串函数、其他一般函数、时间函数。
464             
465             算术函数
466             格式            描述
467             atan(y,x)        返回y/x的反正切。
468             cos(x)            返回x的余弦;x是弧度。
469             sin(x)        返回x的正弦;x是弧度。
470             exp(x)        返回x的幂函数。
471             log(x)        返回x的自然对数。
472             sqrt(x)        返回x的平方根。
473             int(x)        返回x的截断至整数的值。
474             rand()        返回任意数字n,其中0<=n<1475             srand()        将rand函数的种子值设置为Expr参数的值,或如果省略Expr参数则使用某天的时间。返回先前的种子值。
476 
477 
478             举例:
479             awk ‘BEGIN{OFMT="%.3f";fs=sin(1);fe=exp(10);fl=log(10);fi=int(3.1415);srand();fr=int(100*rand());print fs,fe,fl,fi,fr}’
480             输出:0.841 22026.466 2.303 3 28
481             OFMT是设置保留三位有效数字
482 
483 
484             字符串函数
485             格式                描述
486             gsub(Ere,Repl,【In】)    替换字符
487             sub(Ere,Repl,【In】)    替换字符
488             index(String1,String2)    在由String1参数指定的字符串(其中出现String2中指定的参数)中,返回位置,如果没有返回0;
489             length【(String)】        返回给定字符串的长度(字符形式)。如果未给定参数,则返回整个记录的长度。
490             blength【(String)】        返回给定字符串的长度(以字节为单位)。如果未给定参数,则返回整个记录的长度。
491             substr(String,M,【N】)    返回具有N参数指定的字符数量子串。
492             match(String Ere)        在String参数指定的字符串(Ere参数指定的扩展正则表达式出现在其中)中返回位置。
493             split(String,A,【Ere】)    将String参数指定的参数分割成数组元素,并返回n变量的值。
494             tolower(String)        字符串中每个大写字符更换成小写。
495             toupper(String)        字符串中的每个小写字符更换成大写。
496             sprintf(Format,Expr,Expr,…)根据Format参数指定的printf子例程格式字符串来格式化Expr参数指定的表达式并返回最后生成的字符串。
497             注:Ere指的是正则表达式;
498 
499             gsub,sub使用
500                 awk ‘BEGIN{info="this is a test2016test!";gsub(/[0-9]+/,"!",info);print info}‘
501                 this is a test!test!
502 
503             查找字符串(index使用)
504                 awk ‘BEGIN{info=“this is a test2015test!”;print index(info,“test”)?“ok”:“no found”;}’
505 
506             正则表达式匹配查找(match使用)
507                 awk ‘BEGIN{info=“this is a test2013test!”;print match(info,/[0-9]+/)?"ok":"no found";}’
508 
509             截取字符串(substr使用)
510                 awk ‘BEGIN{info=“this is a test2015test!”;print substr(info,4,10);}’
511 
512             分割字符串(split使用)
513                 awk ‘BEGIN{info=“this is a test”;split(info,tA,“ ”);print length(tA);for(k in tA){print k,tA【k】;}}’
514 
515             格式化字符串输出(sprintf)
516                 格式化字符串格式:
517                 其中格式化字符串包括两部分内容:一部分是正常字符,这些字符将按原样输出;另一部分是格式化规定字符,以“%”开始,后跟一个或者几个规定
518                 字符,用来确定输出内容格式。
519             格式    描述
520             %d    十进制有符号整数
521             %u    十进制无符号整数
522             %f    浮点数
523             %s    字符串
524             %c    单个字符
525             %p    指针的值
526             %e    指数形式的浮点数
527             %x    %x无符号以十六进制表示的整数
528             %o    无符号以八进制表示的整数
529             %g    自动选择合适的表示法
530 
531             awk ‘BEGIN{n1=124.113;n2=-1.224;n3=1.2345;printf(“%.2f,%.2u,%.2g,%x,%on”,n1,n2,n3,n1,n1);}’
532             输出124.11,18446744073709551615,1.2,7c,174n(类似于C语言)
533 
534         一般函数
535             格式                描述
536             close(Exception)        关闭文件,关闭由print或者printf语句打开的或调用getline函数打开的文件或管道。如果成功关闭返回0,否则,非零值。
537             system(command)        执行command参数指定的文件,并返回退出状态。等同于system子例程。
538             Exception|getline【Variable】
539             getline【Variable】<Exception    从Exception指定的文件读取输入的下一个记录
540             getline【Variable】        将variable参数指定的变量设置为从当前输入文件读取的下一个输入记录。如果未指定variable参数,则
541                             $0记录变量设置为该记录的值,还将设置NF、NR和FNR特殊变量。
542 
543             打开外部文件(close用法)
544                 awk ‘BEGIN{while("cat /etc/passwd"|getline){print $0;};close("/etc/passwd");}‘
545                 输出:    root:x:0:0:root:/root:/bin/bash
546                     bin:x:1:1:bin:/bin:/sbin/nologin
547                     daemon:x:2:2:daemon:/sbin:/sbin/nologin
548                     adm:x:3:4:adm:/var/adm:/sbin/nologin
549 
550             逐行读取外部文件(getline使用方法)
551                 awk ‘BEGIN{while(getline<"/etc/passwd"){print $0;};close(“/etc/passwd”);}’
552 
553             调用外部应用程序(system使用方法)
554                 awk ‘BEGIN{b=system("ls -al"); print b;}’    效果等同于Linux 指令ls -al
555     
556         时间函数
557             格式                    描述
558             函数名                    说明
559             mktime(YYYY MM dd HH MM ss[DST])    生成时间格式
560             strftime(【format【,timestamp】】)    格式化时间输出,将时间戳转化为时间字符串
561             systime()                得到时间戳,返回从1970年1月1日开始到当前时间的整秒数
562 
563             建立指定时间(mktime使用)
564                 awk ‘BEGIN{tstamp=mktime(“2000 01 01 21 23 22”);print strftime("%c",tstamp)}’
565                 输出:2001年03月05日 星期一 23时32分32秒
566             
567             strftime日期和时间格式说明符
568             格式        描述
569             %a        星期几的缩写(Sun)
570             %A        星期几的完整写法(Sunday)
571             %b        月名的缩写(Oct)
572             %B        月名的完整写法(October)
573             %c        本地时间和日期
574             %d        十进制日期
575             %D        日期08/20/99
576             %e        日期,如果只有一位会补上一个空格
577             %H        用十进制表示24小时格式的小时
578             %I        用十进制表示12小时格式的小时
579             %j        从1月1日起一年中的第几天
580             %m        十进制表示的月份
581             %M        十进制表示的分钟
582             %p        12小时表示法(AM/PM)
583             %S        十进制表示的秒
584             %U        一年中的第几个星期十进制表示
585             %w        十进制表示的星期几(星期天是0)
586             %W        十进制表示的一年中的第几个星期(星期一作为一个星期的开始)
587             %x        重新设置本地日期(08/20/99) 
588             %X        重新设置本地时间(12:00:00)
589             %y        两位数字表示的年(99)
590             %Y        当前月份 
591             %Z        时区(PDT) 
592             %%        百分号(%)

 

以上是关于awk程序设计语言之-awk基础的主要内容,如果未能解决你的问题,请参考以下文章

linux基础篇-文本三剑客之AWK

awk从放弃到入门:awk基础

Linux三剑客之awk命令

不看绝对后悔的Linux三剑客之awk实战精讲

三剑客之awk

Linux三剑客之awk命令