文本处理 awk

Posted 2021-02-17

文本处理 awk

awk

• print格式：print item1, item2, ...

  要点：

• 逗号分隔符
• 输出item可以字符串，也可是数值；当前记录的字段、变量或awk的表达式
• 如省略item，相当于print $0

  示例：

• awk ‘{print "hello,awk"}‘
• awk –F: ‘{print}‘ /etc/passwd
• awk –F: ‘{print “wang”}’ /etc/passwd
• awk –F: ‘{print $1}’ /etc/passwd
• awk –F: ‘{print $0}’ /etc/passwd
• awk –F: ‘{print $1” ”$3}’ /etc/passwd
• grep “^UUID”/etc/fstab | awk ‘{print $2,$4}’

awk变量

变量：内置和自定义变量

FS：输入字段分隔符，默认为空白字符

• awk -v FS=‘:‘ ‘{print $1,FS,$3}’ /etc/passwd
• awk –F: ‘{print $1,$3,$7}’ /etc/passwd

  OFS：输出字段分隔符，默认为空白字符

• awk -v FS=‘:’ -v OFS=‘:’ ‘{print $1,$3,$7}’ /etc/passwd

  RS：输入记录分隔符，指定输入时的换行符（行）

• awk -v RS=‘ ‘ ‘{print }’ /etc/passwd

  ORS：输出记录分隔符，输出时用指定符号代替换行符（行）

• awk -v RS=‘ ‘ -v ORS=‘###‘‘{print }’ /etc/passwd

  NF：字段数量

• awk -F：‘{print NF}’ /etc/fstab 引用变量时，变量前不需加$
• awk -F：‘{print $(NF-1)}‘ /etc/passwd

  NR：记录号

• awk ‘{print NR}’ /etc/fstab ; awk END‘{print NR}’ /etc/fstab

  FNR：各文件分别计数,记录号(行)

• awk ‘{print FNR}‘ /etc/fstab /etc/inittab

  FILENAME：当前文件名

• awk ‘{print FILENAME}’ /etc/fstab

  ARGC：命令行参数的个数

• awk ‘{print ARGC}’ /etc/fstab /etc/inittab
• awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

  ARGV：数组，保存的是命令行所给定的各参数

• awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
• awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

  自定义变量(区分字符大小写)

• (1) -v var=value
• (2) 在program中直接定义

  示例：

• awk -v test=‘hello gawk‘ ‘{print test}‘ /etc/fstab
• awk -v test=‘hello gawk‘ ‘BEGIN{print test}‘
• awk ‘BEGIN{test="hello,gawk";print test}‘
• awk -F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd

  printf命令

  格式化输出：printf “FORMAT”, item1, item2, ...

• (1) 必须指定FORMAT
• (2) 不会自动换行，需要显式给出换行控制符，
• (3) FORMAT中需要分别为后面每个item指定格式符

  格式符：与item一一对应

• %c：显示字符的ASCII码
• %d, %i：显示十进制整数
• %e, %E：显示科学计数法数值
• %f：显示为浮点数
• %g, %G：以科学计数法或浮点形式显示数值
• %s：显示字符串
• %u：无符号整数
• %%：显示%自身

  修饰符

• #[.#] 第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
• • 左对齐（默认右对齐） %-15s
• • 显示数值的正负符号 %+d

    printf示例

• awk -F: ‘{printf "%s",$1}’ /etc/passwd
• awk -F: ‘{printf "%s ",$1}’ /etc/passwd
• awk -F: ‘{printf "%-20s %10d ",$1,$3}‘ /etc/passwd
• awk -F:‘ {printf "Username: %s ",$1}’ /etc/passwd
• awk -F: ‘{printf “Username: %s,UID:%d ",$1,$3}’ /etc/passwd
• awk -F: ‘{printf "Username: %15s,UID:%d ",$1,$3}’ /etc/passwd
• awk -F: ‘{printf "Username: %-15s,UID:%d ",$1,$3}’ /etc/passwd

  操作符

  算术操作符：

• x+y, x-y, x*y, x/y, x^y, x%y
• • x：转换为负数
• +x：将字符串转换为数值

  字符串操作符：没有符号的操作符，字符串连接

  赋值操作符：

• =, +=, -=, *=, /=, %=, ^=，++, --
• 下面两语句有何不同
• awk ‘BEGIN{i=0;print ++i,i}’
• awk ‘BEGIN{i=0;print i++,i}’

  比较操作符

• ==, !=, >, >=, <, <=

  模式匹配符：

• ~：左边是否和右边匹配，包含
• !~：是否不匹配

  示例：

• awk -F: ‘$0 ~ /root/{print $1}‘ /etc/passwd
• awk ‘$0~“^root"‘ /etc/passwd
• awk ‘$0 !~ /root/‘ /etc/passwd
• awk -F: ‘$3==0’ /etc/passwd

  逻辑操作符：与&&，或||，非!

  示例：

• awk -F: ‘$3>=0 && $3<=1000 {print $1}‘ /etc/passwd
• awk -F: ‘$3==0 || $3>=1000 {print $1}‘ /etc/passwd
• awk -F: ‘!($3==0) {print $1}‘ /etc/passwd
• awk -F: ‘!($3>=500) {print $3}’ /etc/passwd

  条件表达式（三目表达式）

• selector?if-true-expression:if-false-expression

  示例：

• awk -F: ‘{$3>=1000?usertype="Common User":usertype="
  SysUser";printf "%15s:%-s ",$1,usertype}‘ /etc/passwd

  awk PATTERN

  PATTERN:根据pattern条件，过滤匹配的行，再做处理

• (1)如果未指定：空模式，匹配每一行
• /regular expression/：仅处理能够模式匹配到的行，需要用/ /括起来
• awk ‘/^UUID/{print $1}‘ /etc/fstab
• awk ‘!/^UUID/{print $1}‘ /etc/fstab
• (3) relational expression: 关系表达式，结果为“真”才会被处理

  示例

• awk -F: ‘i=1;j=1{print i,j}‘ /etc/passwd
• awk ‘!0’ /etc/passwd ; awk ‘!1’ /etc/passwd
• Awk -F: ‘$3>=1000{print $1,$3}‘ /etc/passwd
• awk -F: ‘$3<1000{print $1,$3}‘ /etc/passwd
• awk -F: ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd
• awk -F: ‘$NF ~ /bash$/{print $1,$NF}‘ /etc/passwd