awk学习随常记录

Posted 2020-09-18

回顾：字符串处理

数组：

    数组 ： declare -a

       index: 0-

关联数组 ： declare -A

编程：数据结构和算法

字符串处理：

    切片、查找替换、查找删除、变量赋值

GUN awk:

    文本处理三工具： grep ,sed ,awk 

grep:grep、egrep 、fgrep:文本过滤工具：pattern

sed:行编辑器

    模式空间、保持空间

awk:报告生成器，格式化文本输出;

AWK： aho,weinberger, kernigha 命名就用三个人名字的首字母 

awk主要是在unix上使用。linux用的为GUN版的awk简称gawk

基本用法

awk [options] ‘program‘ FILE...

program : PATTERN{ACTION STATEMENT} 

    语句之间用分号分隔

print,printf

选项：

-F 字段分隔符，指明输入时的字段分隔符

-v 自定义变量 var=value

以文件中的行为单位进行读取，以-F指定的分隔符为标识来分隔读取的内容

整个行为$0 第一片为$1

awk的循环功能不是在行间循环的，awk自身就能遍历文件

tail -3 /etc/fstable|awk ‘{print $2,$4}‘

1、print item1,item2

（1）逗号为分隔符;

 (2) 输出的各item可以是字符串，也可以是数值,也可以是awk自己的变量或表达式。

 (3) 如省略item，相当于print $0

    2、变量

  2.1内建变量

     FS:input field seperator，默认为空白字符 

 awk ‘{print $1}‘ /etc/passwd

 awk -v FS=":" ‘{print $1}‘ /etc/passwd

 等于

 awk -F 

 awk -v FS=‘:‘ ‘{print $1}‘ /etc/passwd

 OFS：output field seperator ,默认为空白字符 输出字段默认分隔符

 RS：input record seperator,输入时的换行符

 OFS:outpu record seperator,输出时的换行符

 NF: number of field 每一行的字段数量 

 NR：number of record 行数：显示一个文件一个有多少行

 FNR：file number of record 每一个文件分别计行数

 FILENAME：文件名 当前正在正理的文件的文件名

 ARGC：命令行中参数的个数 

 ARGV：保存命令行中所给定的各参数 是一个数组，调用方式为 ARGV[0]  ARGV[1]

 

自定义变量

   -v var=value

（1）变量名区分字符大小写

（2）在program中直接定义

3、printf命令

  格式化输出：printf FORMAT,item1,item2,item3...

  （1）FORMAT是必须给出

  （2）printf不行自动换行，需要显式给出换行符，\n

   (3)FORMAT中需要分别为后面的每个item指定一个格式化符号：

格式符：

%c:显示字符的ASCII码

%d,%i 显示十进制整数

%e %E 科学计数法数值显示

%g %G 以科学计数或浮点形式显示数值

%u 无符号整数

%% 显示%自身：

%s 显示字符串

awk -F : ‘{printf "Username:%s\n",$1 }‘ /etc/passwd

awk -F : ‘{printf "%s\n",$1 }‘ /etc/passwd

awk -F : ‘{printf "%s",$1 "\n"}‘ /etc/passwd

awk -F : ‘{printf "Username: %s,UDI %d \n",$1,$3}‘ /etc/passwd

修饰符：

#[.#]:第一个数字用来控制显示的宽度，第二个数字用来控制小数点后的精度

%3.1f 

awk -F : ‘{printf "Username: %15s,UDI %d \n",$1,$3}‘ /etc/passwd

- -号表示左对齐

awk -F : ‘{printf "Username: %-15s,UDI %d \n",$1,$3}‘ /etc/passwd

+：显示数值的符号

4、操作符

  算术运算操作符

  x+y,x-y,x*y,x/y，x%y

  -x 取反

  +x 把字符转换为数值

  字符串操作符：没有符号的操作符，字符串连接

  赋值操作符

  =,+=,-=,*=,/=,%=,^=,++,--

    比较操作符

>,>=,<.<=,!=,==

模式匹配符：

~：左侧字符串是否表示匹配右侧字符串

!~表示不匹配

逻辑操作符：

&&

||

!

函数调用：

function_name(arguments1,arguments2...)

条件表达式：

selector ? if-true-expression: if-false-expression

awk -F: ‘{$3>=1000?usertype="Commen User":usertype="Systemadmin or Sysuser";printf"%15s:%-s\n",$1,usertype}‘ /etc/passwd

5、PATTERN

    实现地址定界的功能 

（1）empty:空模式，匹配每一行

        （2）/regular expression/: 正则表达式

awk ‘!/^UUID/{print $1}‘ /etc/fstab

awk ‘!/^UUID/{print $1}‘ /etc/fstab

（3）关系表达式：relational expression:关系表达式：关系表达式：结果有“真”有"假“结果非0值为真。

 

awk -F : ‘$NF=="/bin/bash"{print $1,$NF}‘ /etc/passwd

awk -F : ‘$NF~/bash$/{print $1,$NF}‘ /etc/passwd

（4）lin ranges:行范围 地址定界

awk  -F : ‘/^root/,/^tcpdump/{print $1}‘ /etc/passwd

awk  -F : ‘/^root/,/^tcpdump/{print $1}‘ /etc/passwd

awk  -F : ‘(NR>=2&&NR<=10){print $1}‘ /etc/passwd

        不支持直接给出数字的格式，可以用变量来限制行范围

（5）BEGIN/END模式

 BEGIN{}：仅在开始处理文件中的文本之前执行一次；

 END{}：仅在文本处理完成之后执行一次；

 awk -F: ‘BEGIN{print " username               uid  \n-----------------------------"} {print $1,$3} END{print"=========== \n   end"}‘ /etc/passwd

6常用的action

（1）Expressions 

(2) Control statements: if while 等

（3）Compound statements:组合语句

（4）input statements

(5) output statements

 

7控制语句

         (1)if     if(conditons){statments}

                   if(conditions){statments}else{statments}

         (2)while(condition){statments}

         (3)do statments}

         (4) for(expr1;expr2;expr3){statements}

          break

          continue

          delete array [index]

          delete array 

          exit

         {statements} 多个语句语句是需要用花括号括起来的

 

 

   7.1 if-else{statments}

  语法 if(condition)statement[else statement]

  某个用户的id号大于1000

  awk -F: ‘{if($3>=1000){ printf"commen user:%s\n  ",$1} else {printf "root or Sysuser %s \n ",$1} }‘ /etc/passwd

  使用场景：对awk取得的整行或某个字段做条件判断：

  awk -F: ‘{if($NF=="/bin/bash") print $1}‘ /etc/passwd

  awk ‘{if(NF>5) print $0}‘ /etc/fstab

7.2 while 循环

           语法：while(condition) statement

            条件为”真“，进入循环;条件为假，退出循环；

          使用场景 ：对一行内的多个字段 逐一类似处理时使用：对数组中的各元素逐一处理时使用

          显示这个字段

          lenth() 

          awk ‘/^[[:space:]]*linux16/{print}‘ /etc/grub2.cfg

awk ‘/^[[:space:]]*linux16/{i=1;while(i<NF){print $i,length($i);i++}}‘ /etc/grub2.cfg 

            awk ‘/^[[:space:]]*linux16/{i=1;while(i<NF){if(length($i)>=7){print $i,length($i)};i++}}‘ /etc/grub2.cfg

7.3 do-while循环

          语法

           do statement while(condition)

            意义：至少执行一次循环体

           

         7.4 for(expr1;expr2;expr3) statement

             for(variable assignment;condition;internation process){for-body}

             awk ‘/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}‘ /etc/grub2.cfg

          特殊用法

          能够遍历数组中的元素

          for(var in array) {for-body}

         7.5 swithc 语句

           语法 switch(expression){case VALUE1 or /REGEXP/ :statement;case VALUE2 or/REGEXP2/:statement....;default statement}  

7.6 break和continue 

    break[n] 退出n轮循环

continue

7.7 next 提前结束对本行的处理，而直接进入下一行：

   awk -F: ‘{if($3%2!=0) next; print $1,$3}‘ /etc/passwd

8、array  数组 -连续的内存空间，分为两类 一、数字索引的数组 二、关联数组 

   array[index-expression] 

index-expression:

(1)可以使用任意字符串  字符串要使用双引号

  （2）如果某数组元素事先不存在，在引用时awk会自动创建此元素，并将其值初始化为空串

  若要判断数组中是否存在某元素，要使用”index in array"格式进行

  weekdays[mon]=monday

  awk ‘BEGIN{weekdays[mon]="monday";weekdays[tue]="tuesday";print weekdays[mon]}‘

awk ‘BEGIN{weekdays["mo"n]="monday";weekdays["tue"]="tuesday";print weekdays["mo"n]}‘

awk ‘BEGIN{weekdays["mo"n]="monday";weekdays["tue"]="tuesday";print weekdays["mo"n]}‘

awk ‘BEGIN{weekdays["mo"n]="monday";weekdays["tue"]="tuesday";print weekdays["tue"]}‘

awk ‘BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";for(i in weekdays) print weekdays[i]}‘

 

若要遍历数组中的每个元素，要使用for循环：

for(var in array) {for-body}

注意：var会遍历array的每个索引

awk ‘BEGIN{weekdays["mon"]="monday";weekdays["tue"]="tuesday";for(i in weekdays) print weekdays[i]}‘

netstat -tan

state["LISTEN"]++

state["ESTABLISHED"]++

netstat -tan|awk ‘/^tcp\>/{state[$NF]++}END{for(i in state ){print i ,state[i]}}‘

ss -tan

awk ‘{ip[$1]++}END{for( i in ip){print i,ip[i]}}‘ /var/log/httpd/access_log

统计ip访问网站的次数

练习题 统计/etc/fstab中每个单词出现的次数

      awk ‘!/^#/{fs[$3]++}END{for(i in fs){print i,fs[i]}}‘ /etc/fstab

  awk ‘/^UUDI/{fs[$3]++}END{for(i in fs){print i,fs[i]}}‘ /etc/fstab

 

  统计/etc/fstab中每个文件类型出在的次数 

  awk ‘{for(i=1;i<=NF;i++){count[$i]++}}END{for(i in count) {print i,count[i]}}‘ /etc/fstab

9内置函数

   9.1内置函数 

数值处理

  rand():返回一个0和1之间的小数 只有第一次取的是随机的，后面的数字都是同一个

  sin()

  cos()

  字符串处理的 length() 返回指定字符串的长度

                sub(r，s,[t]);以r表示的模式查找t所表示的字符的字符中匹配的内容，并将第一次出现替换为s所表示的内容：

           gsub()表示全局替换以r表示的模式查找t所表示的字符的字符中匹配的内容，并将所有出下替换为s所表示的内容

split(s,a[,r])以r为分隔符，切割字符串s，并将切割后的结果保存至a所表示的数组中;

推荐看 sed和awk