Shell awk命令

Posted 泡沫o0

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Shell awk命令相关的知识,希望对你有一定的参考价值。

功能:
对数据分析并生成报告 
把文件逐行的读入,以空格为默认分隔符将每行切片,切开的部分再进行各种分析处理。
#pattern 表示 AWK 在数据中查找的内容
#action 是在找到匹配内容时所执行的一系列命令。
#花括号({})不需要在程序中始终出现,但它们用于根据特定的模式对一系列指令进行分组,pattern就是要表示的正则表达式,用斜杠括起来。
awk ‘{pattern + action}‘ {filenames}
调用方式:
1.命令行方式
awk [-F  field-separator]  ‘commands‘  input-file(s)
其中,commands 是真正awk命令,[-F域分隔符]是可选的。 input-file(s) 是待处理的文件。
在awk中,文件的每一行中,由域分隔符分开的每一项称为一个域。
通常,在不指名-F域分隔符的情况下,默认的域分隔符是空格。

2.shell脚本方式
将所有的awk命令插入一个文件,并使awk程序可执行,然后awk命令解释器作为脚本的首行,一遍通过键入脚本名称来调用。
相当于shell脚本首行的:#!/bin/sh
可以换成:#!/bin/awk

3.将所有的awk命令插入一个单独文件,然后调用:
awk -f awk-script-file input-file(s)
其中,-f选项加载awk-script-file中的awk脚本,input-file(s)跟上面的是一样的。

工作流程:
读入有‘ ‘换行符分割的一条记录,然后将记录按指定的域分隔符划分域,填充域,$0则表示所有域,$1表示第一个域,$n表示第n个域。
默认域分隔符是"空白键" 或 "[tab]键".
支持类型:
1.内置变量
ARGC               命令行参数个数
ARGV               命令行参数排列
ENVIRON            支持队列中系统环境变量的使用
FILENAME           awk浏览的文件名
FNR                浏览文件的记录数
FS                 设置输入域分隔符,等价于命令行 -F选项
NF                 浏览记录的域的个数
NR                 已读的记录数
OFS                输出域分隔符
ORS                输出记录分隔符
RS                 控制记录分隔符
此外,$0变量是指整条记录。$1表示当前行的第一个域,$2表示当前行的第二个域,......以此类推
2.条件类型
 awk支持的主要条件类型
条件类型条 件说 明
awk保留字BEGIN在 awk 程序一开始,尚未读取任何数据之前执行。BEGIN 后的动作只在程序开始时执行一次
awk保留字END在 awk 程序处理完所有数据,即将结束时执行?END 后的动作只在程序结束时执行一次
关系运算符>大于
<小于
>=大于等于
<=小于等于
==等于。用于判断两个值是否相等。如果是给变童赋值,则使用"=”
!=不等于
A~B判断字符串 A 中是否包含能匹配 B 表达式的子字符串
A!~B判断字符串 A 中是否不包含能匹配 B 表达式的子字符串
正则表达式/正则/如果在“//”中可以写入字符,则也可以支持正则表达式
3.awk中同时提供了print和printf两种打印输出的函数。
其中
3.1 print函数
参数可以是变量、数值或者字符串。
字符串必须用双引号引用,参数用逗号分隔。如果没有逗号,参数就串联在一起而无法区分。
这里,逗号的作用与输出文件的分隔符的作用是一样的,只是后者是空格而已。
3.2 printf函数
其用法和c语言中printf基本相似,可以格式化字符串,输出复杂时,printf更加好用,代码更易懂。
 #!/bin/bash
 
 #BEGIN 是 awk 的保留字,是一种特殊的条件类型。BEGIN 的执行时机是"在 awk 程序一开始,尚未读取任何数据之前"。
 awk ‘BEGIN{printf "This is a transcript
"} {printf $2 "	" $6 "
"}‘ student.txt
 
 # END 是在 awk 程序处理完所有数据,即将结束时执行的。
 
 awk ‘END{printf "The End 
"} {printf $2 "	" $6 "
"}‘ student.txt
 #使用cat输出文件内容,用grep取反包含"Name"的行,判断第六个字段(平均成绩)大于等于87分的行,如果判断式成立,则打印第六列(学员名)
 cat student.txt | grep -v Name |awk‘$6 >= 87 {printf $2‘
"}‘

#取记录第第一列
ps -l 5 | awk  ‘{print $1}‘

#查看系统中的所有的账号名称,并按名称的字母顺序排序。
awk -F: ‘{print $1}‘ /etc/passwd | sort
#下面统计/etc/passwd的账户人数
awk ‘{count++;print $0;} END{print "user count is ", count}‘ /etc/passwd

#列出当前账号最常使用的 10 个命令。
history | awk ‘{print $2}‘ | sort | uniq -c | sort -rn | head

#显示当前系统的总内存大小,单位为 KB。
free | grep Mem | awk ‘{print $2}‘

#搜索/etc/passwd有root关键字的所有行,并显示对应的shell
awk -F: ‘/root/{print $7}‘ /etc/passwd    

#统计某个文件夹下的文件占用的字节数
ls -l |awk ‘BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size}‘
#如果以M为单位显示:
ls -l |awk ‘BEGIN {size=0;} {size=size+$5;} END{print "[end]size is ", size/1024/1024,"M"}‘ 









以上是关于Shell awk命令的主要内容,如果未能解决你的问题,请参考以下文章

用awk如何读取shell命令行上的参数(参数可以是带空格的)

Shell去除空格和空行的方法

shell awk 常见命令

shell awk 常见命令

shell中awk及其常用命令

shell命令三剑客之awk命令详解,cut命令,linux里记录行踪(操作记录)