awk进阶整理

Posted 2020-09-23 陈浩然MC

BEGIN{写在前言，我英语不好，有许多地方直接使用的谷歌翻译。为了能理清awk工具使用的思路，详情还要看awk说明书（man awk）
或者http://www.gnu.org/software/gawk/manual/gawk.html#Regexp}
awk初学之常见问题
http://bbs.chinaunix.net/thread-2309494-1-1.html
awk介绍

awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。
数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。
它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。
它在命令行中使用，但更多是作为脚本来使用。
awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

awk命令格式和常用选项
命令格式
awk [options] \'script\' var=value file(s)
awk [options] -f scriptfile var=value file(s)
常用选项
-F fs fs指定输入分隔符，fs可以是字符串或正则表达式，如-F:
-v var=value 赋值一个用户定义变量，将外部变量传递给awk
-f scripfile 从脚本文件中读取awk命令

awk的工作原理
awk \'BEGIN{ commands } pattern{ commands } END{ commands }\'
第一步：执行BEGIN{ commands }语句块中的语句；
第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，
从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
第三步：当读至输入流末尾时，执行END{ commands }语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，
比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。
END语句块在awk从输入流中读取完所有的行之后即被执行，
比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。
pattern语句块中的通用命令是最重要的部分，它也是可选的。
如果没有提供pattern语句块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

AWK程序的完整执行方式
AWK PROGRAM EXECUTION
An AWK program consists of a sequence of pattern-action statements and optional function definitions.

pattern { action statements }
function name(parameter list) { statements }

了解变量，记录和字段
自定义变量 -v

awk内置变量（预定义变量）
内置变量
Gawk的内置变量是：

ARGC 命令行参数的数量（不包括gawk的选项或程序源）。

ARGIND 正在处理的当前文件的ARGV中的索引。

ARGV 命令行参数数组。该阵列从0到ARGC - 1索引。动态更改ARGV的内容可以控制用于的文件数据。

BINMODE / O指定使用“二进制”模式。数字值为1,2或3，指定输入文件，输出文件或全部文件分别应使用二进制I / O。
“r”或“w”的字符串值分别指定输入文件或输出文件应使用二进制文件I / O。
“rw”或“wr”的字符串值指定所有文件应使用二进制I / O。任何其他字符串值被视为“rw”，但会生成警告信息。

CONVFMT 默认情况下，数字的转换格式为“％.6g”。

ENVIRON 包含当前环境值的数组。该数组由环境变量索引，每个元素都是该值的值变量（例如，ENVIRON [“HOME”]可能是/ home / arnold）。
改变这个数组不影响通过gawk生成的程序所看到的环境重定向或system（）函数。

ERRNO 如果发生系统错误，或者对getline进行重定向，在readline的读取期间或在close（）期间，则ERRNO将包含一个字符串描述错误。
该价值需要翻译成非英文文字。

FIELDWIDTHS 字段宽度的白色空格分隔列表。当设置时，gawk将输入解析为固定宽度的字段，而不是使用FS变量的值作为字段分隔符。

FILENAME 当前输入文件的名称。如果在命令行中没有指定文件，则FILENAME的值为“ - ”。
但是，FILENAME内部未定义BEGIN块（除非由getline设置）。

FNR 当前输入文件中的输入记录号。
http://www.cnblogs.com/irockcode/p/7044722.html

FS 输入字段分隔符，默认为空格。请参阅上面的字段。

IGNORECASE 控制所有正则表达式和字符串操作的区分大小写。如果IGNORECASE具有非零值，则进行字符串比较和模式规则匹配，
FS分割，与RS记录分离，与〜和！〜的正则表达式匹配，gensub（），gsub（），index（），match（），split（）和sub（）
内置函数在执行正则表达式操作时都会忽略大小写。
注意：数组下标不受影响。
但是，asort（）和asorti（）函数会受到影响。
因此，如果IGNORECASE不等于零，/ aB /匹配所有字符串“ab”，“aB”，“Ab”和“AB”。
与所有AWK变量一样，初始值为IGNORECASE为零，因此所有正则表达式和字符串操作通常区分大小写。
在Unix下，完整的ISO 8859-1 Latin-1字符集被忽略的情况下使用。
从gawk 3.1.4开始，基于C <ctype.h>的设备，如isalpha（）和TOUPPER（）。

LINT 提供AWK程序内的--lint选项的动态控制。如果真的，gawk打印棉绒警告。
当虚假的时候，它不会。分配时字符串值“致命”，lint警告成为致命错误，完全像--lint =致命。任何其他真正的值只是打印警告。

NF 当前输入记录中的字段数。

NR 迄今为止看到的输入记录总数。

OFMT 默认情况下，数字的输出格式为“％.6g”。

OFS 输出字段分隔符，默认为空格。

ORS 输出记录分隔符，默认为换行符。

PROCINFO 此数组的元素提供有关正在运行的AWK程序的信息的访问
在某些系统上，阵列中可能有元素，“group1”通过“groupn”为一些n，这是进程的补充组的数量使用in操作符测试这些元素。

RS 输入记录分隔符，默认为换行符。

RT 记录终止符。 Gawk将RT设置为与RS指定的字符或正则表达式匹配的输入文本。

RSTART 与match（）匹配的第一个字符的索引; 0如果没有匹配。 （这意味着字符索引从一个开始。）

RLENGTH 由match（）匹配的字符串的长度; -1如果没有匹配。

SUBSEP 用于在数组元素中分隔多个下标的字符，默认为“\\ 034”。

TEXTDOMAIN AWK程序的文本域; 用于查找程序字符串的本地化翻译。



awk数组
关于awk数组的理解
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=2312439&highlight=awk%2B%CA%FD%D7%E9
数组结合+=统计题
http://www.cnblogs.com/irockcode/p/7044541.html
去重
awk \'!a[$0]++\' file
http://www.cnblogs.com/irockcode/p/7044646.html
awk变量类型和转换
Variable Typing And Conversion

八进制和十六进制常量

字符串常量
AWK中的字符串常量是双引号（“）之间的字符串，在字符串中，
某些转义序列被识别，如C.

\\\\一个字面反斜杠。

\\ a“警报”字符; 通常是ASCII BEL字符。

\\ b退格。

\\ f表单。

\\ n换行。

\\ r回车。

\\ t水平选项卡。

\\ v垂直选项卡。

\\ xhex数字
由\\ x之后的十六进制数字字符串表示的字符。 如ANSI C所有
以下十六进制数字被视为转义序列的一部分。 （此功能应该告诉
我们关于委员会的语言设计。）例如，“\\ x1B”是ASCII ESC（转义）字符。

\\ ddd由八位数字的1，2或3位数字表示的字符。 例如，“\\ 033”是
ASCII ESC（转义）字符。

\\ c字面字符c。
转义序列也可以在常量正则表达式内使用（例如/ [\\ t \\ f \\ n \\ r \\ v] / 匹配空格字符）。
在兼容模式下，处理由八进制和十六进制转义序列表示的字符
字面上用于正则表达式常量。因此，/ a \\ 52b /相当于/ a \\ * b /。

awk模式和操作
Patterns
AWK 模式一般有以下几种:

BEGIN
END
/regular expression/
relational expression
pattern && pattern
pattern || pattern
pattern ? pattern : pattern
(pattern)
! pattern
pattern1, pattern2

正则表达式
原本翻译了man的所有正则表达式，但想想还是删了，毕竟我只是用谷歌翻译，结果多少会有不准确
这里就算是个总结吧，但有几点，正则表达式不是通用的，是看工具是否支持的
通配符与正则也会有冲突
附上晚上找的资料链接
http://blog.csdn.net/miss_acha/article/details/24462519
https://zhidao.baidu.com/question/2203723809768255508.html
http://www.cnblogs.com/xiongyunqi/p/3735846.html
http://bbs.chinaunix.net/thread-1049373-2-1.html
正则表达式awk[完全手册]
http://www.cnblogs.com/nhlinkin/p/3647357.html
http://www.gnu.org/software/gawk/manual/gawk.html#Regexp

操作（actions）
动作语句用大括号{和}括起来。 行动声明包括通常的分配，条件和循环语句
在大多数语言中发现。 运算符，控制语句和输入/输出语句可以在C之后进行图案化。

AWK运算符
Operators
The operators in AWK, in order of decreasing precedence, are

(...)Grouping

$ Field reference.

++ --Increment and decrement, both prefix and postfix.

^ Exponentiation (** may also be used, and **= for the assignment operator).

+ - !Unary plus, unary minus, and logical negation.

* / %Multiplication, division, and modulus.

+ - Addition and subtraction.

spaceString concatenation.

| |& Piped I/O for getline, print, and printf.

< >
<= >=
!= ==The regular relational operators.

~ !~ Regular expression match, negated match. NOTE: Do not use a constant regular expression
(/foo/) on the left-hand side of a ~ or !~. Only use one on the right-hand side. The
expression /foo/ ~ exp has the same meaning as (($0 ~ /foo/) ~ exp). This is usually not
what was intended.

in Array membership.

&& Logical AND.

|| Logical OR.

?: The C conditional expression. This has the form expr1 ? expr2 : expr3. If expr1 is true,
the value of the expression is expr2, otherwise it is expr3. Only one of expr2 and expr3 is
evaluated.

= += -=
*= /= %= ^= Assignment. Both absolute assignment (var = value) and operator-assignment (the other forms)
are supported.

Control Statements

AWK的逻辑控制语句
The control statements are as follows:

if (condition) statement [ else statement ]
while (condition) statement
do statement while (condition)
for (expr1; expr2; expr3) statement
for (var in array) statement
break
continue
delete array[index]
delete array
exit [ expression ]
{ statements }

输入输出语句

I/O Statements

The input/output statements

常用语句
getline
next
awk中next的用法
http://blog.chinaunix.net/uid-7685522-id-2045805.html
print
printf
printf语句用法
close

内置函数
算术函数

字符串函数

一般函数

时间函数


END{附在最后，awk的一些资料，其中有些已经贴在文中，这里来一个汇总吧
awk的-F分隔符问题
http://bbs.chinaunix.net/thread-4262179-1-1.html
shell编程大赛
http://bbs.chinaunix.net/thread-2319120-1-1.html
awk初学之常见问题
http://bbs.chinaunix.net/thread-2309494-1-1.html
awk中next的用法
http://blog.chinaunix.net/uid-7685522-id-2045805.html
RS、ORS、FS、OFS相关问题
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=1354674&page=1
awk数组学习心得
http://blog.chinaunix.net/uid-2598756-id-293231.html
FNR=NR问题
http://bbs.chinaunix.net/thread-4084132-1-1.html
参考的命令awk
http://man.linuxde.net/awk
}

 

PS：

其实好多内容别人都已经整理过，但自己整理的才是自己的，回头看看自己的这篇，就是一篇man awk的谷歌翻译

顶多夹杂着自己的一些资料，理解，微乎其微。

　　但胜过不去思考，人生不是在思考中进步的吗？