#导入Word文档图片# linux三剑客

Posted 2022-07-08 DS小龙哥

linux三剑客​

Linux中的三个命令awk、sed、grep在业界被称为“三剑客”，grep擅长查找，sed擅长取行和替换，awk擅长运算。​

我们知道Linux下一切皆文件，对Linux的操作就是对文件的处理，那么怎么能更好的处理文件呢？这就要用到三剑客命令。​

三剑客与正则表达式息息相关，正则表达式是为了处理大量的文本|字符串而定义的一套规则和模版，这个模版是由一些普通​​字符​​和一些​​元字符​​组成。普通字符包括大小写的字母和数字，而元字符则具有特殊的含义。正则表达式详情可参看资料《linux正则表达式》。​

三剑客与正则表达式是什么关系呢？​

三剑客就是普通的命令，有的把他们叫做工具。而正则表达式就好比一个模版，而linux下一般只有三剑客能读懂这个模版.​

grep​

grep（global search regular expression(RE) and print out the line，全面搜索正则表达式并把行打印出来）是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。​

Unix的grep家族包括grep、egrep和fgrep。egrep和fgrep的命令只跟grep有很小不同。egrep是grep的扩展，支持更多的re元字符， fgrep就是fixed grep或fast grep，它们把所有的字母都看作单词，也就是说，正则表达式中的元字符表示回其自身的字面意义，不再特殊。linux使用GNU版本的grep。它功能更强，可以通过-G、-E、-F命令行选项来使用egrep和fgrep的功能。​

查找内容可以用双引号括起来，也可以不用，建议使用双引号,双引号中一些特殊符号要注意使用转义字符。​

格式：​

grep [OPTIONS] PATTERN [FILE...]​

1. grep默认不支持扩展正则，因此扩展正则表达式的符号对于grep来说就等同于普通字符含义，因此，想让grep直接处理正则符号必须通过转义字符\\\\来处理。​
2. grep -E 强制让grep直接认识正则符号，不需要再进行转义​
3. egrep 等效grep -E 天生就能认识正则符号​
4. 我们平时备份可以通过cp 文件名,.bak的形式进行，避免再打一次文件名​

选项参数​

-a 不要忽略二进制数据。​ -A<显示行数> 除了显示符合范本样式的行之外，并显示该行之后的指定几行内容。​ -B<显示行数> 除了显示符合范本样式的行之外，并显示该行之前的指定几行内容。​ -C<显示行数> 除了显示符合范本样式的那一行之外，并显示该行前后指定几行的内容。​ -b 在显示符合范本样式的那一行之外，并显示字节偏移量。​ -c 只计算显示符合范本样式的行数，不显示详细内容​ -d<进行动作> 当指定要查找的是目录而非文件时，必须使用这项参数，否则grep命令将回报信息并停止动作。​ -e<范本样式> 指定字符串作为查找文件内容的范本样式。​ -E 将范本样式为延伸的普通表示法来使用，意味着能使用扩展正则表达式。​ -f<范本文件> 指定范本文件，其内容有一个或多个范本样式，让grep查找符合范本条件的文件内容，格式为每一列的范本样式。​ -F 将范本样式视为固定字符串的列表。​ -G 将范本样式视为普通的表示法来使用。​ -h 在显示符合范本样式的那一列之前，不标示该列所属的文件名称。​ -H 在显示符合范本样式的那一列之前，标示该列的文件名称。​ -i 忽略字符大小写的差别。​ -l 列出文件内容符合指定的范本样式的文件名称。​ -L 列出文件内容不符合指定的范本样式的文件名称。​ -n 在显示符合范本样式的那一列，标示出该列的编号。​ -q 不显示任何信息。​ -R/-r 此参数的效果和指定“-d recurse”参数相同，表明查找路径为目录​ -s 不显示错误信息。​ -v 反转查找，显示不符合模式的所有信息​ -w 只显示全字符合的列。​ -x 只显示全列符合的列。​ -y 此参数效果跟“-i”相同。​ -o 只输出文件中匹配到的部分。​ --color=auto 把匹配部分标记出来，要想当前终端后续使用都要标记匹配部分，可用alias命令重新封装grep​ ：#alias grep=’grep --color=auto’​

常用示例​

在文件中查找内容​

成功会输出所有包含查找内容的行，否则输出为空。​

$ grep bash file_read.sh #在file_read.sh内查找bash ​ $ grep "bash" file_read.sh --color=auto #两者效果相同，并且标记颜色​ $ grep "bash" file_read.sh demo.sh #在file_read.sh demo.sh 内查找bash​

在目录下查找内容​

成功会输出文件名:所有包含内容的行，否则输出为空​

需运用-r/-R/-d recurse 选项参数,指明查找路径为目录​

$ grep "bash" -r ./ #在当前目录下查找文件内容bash​ $ grep "bash" -R ./​ $ grep "bash" -d recurse ./​

显示查找内容所在行的行号​

需运用-n参数，显示行号，可单独也可与其他选项参数写在一起。​

$ grep "bash" -n file_read.sh #在file_read.sh内查找bash ​ $ grep "bash" -Rn ./ ​ $ grep "bash" -r -n ./ ​

反转显示，显示与查找内容不符合的所有内容​

需运用-v参数。​

$ grep "bash" -vn demo.sh #显示demo.sh内不包含bash的行，并显示行号​

查找以某内容开头的行​

需运用正则表达式^...。​

$ grep "^#" demo.sh #查找demo.sh内以#开头的行，注意前面不能有空白字符，必须是最开头​

查找空白行​

需运用正则表达式^...。​

需运用正则表达式...$。​

$ grep "^$" 123.txt​

查找非指定字符开头的行​

$ grep "^[^#]" demo.sh #在demo.sh中查找不以#开头的行​

查找以某内容结尾的行​

需运用正则表达式...$。​

$ grep "name$" demo.sh #查找demo.sh内以name结尾的行，注意必须是最后且后面不能有空白字符​

获取查找内容行数​

需运用-c参数，不显示详细内容，只显示行数​

$ grep "name" demo.sh -c # 在demo.sh中查找name出现的行数​

显示查找内容及其前后行内容​

需运用​

$ grep "name" demo.sh -A 2 #显示查找内容及其后两行内容​ $ grep "name" demo.sh -B 2 #显示查找内容及其前两行内容​ $ grep "name" demo.sh -C 2 #显示查找内容及其前后两行内容​

查找阿拉伯数字​

需要用到正则表达式[m]与n，选项参数-E（指定使用正则表达式）​

[]正则表达式:[m]表明查找匹配m字符的内容。​

[^m]表明匹配不是m字符的内容。​

[m-f]表示匹配m到f的内容，m可以是数字，可以是字符。​

正则表达式：m表示匹配之前的项m次​

m,表示匹配之前的项至少m次​

m,f表示匹配之前的项m次到f次。m是可以为0的正整数。​

$ grep "[1-3]\\2\\" 123.txt #在123.txt中查找1-3之间数字出现两次的内容，注意前后一定要加转义字符​ $ grep -E "[1-3]2" 123.txt #或者直接使用-E参数指定使用正则表达式，则可不加转义​ $ grep "[1-3][1-3]" 123.txt #与上面相同效果，也表示在123.txt中查找1-3之间数字出现两次的内容​ $ifconfig | grep "[0-9]\\1,3\\\\.[0-9]\\1,3\\\\.[0-9]\\1,3\\\\.[0-9]\\1,3\\" ​

grep用于常规的查询操作固然方便，但是最大的弊端就是查出来不能增删改，导致如果是写一些脚本就会很不方便，这个时候就需要sed和awk这样的工具来实现。​

sed​

sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。​

命令格式：​

sed [options] command file(s)​ sed [options] -f scriptfile file(s)​

注意：查找的内容前后一定要用/包含起来，示例/sh/。替换的时候可用@与#替换/。​

命令与查找内容可连在一起也可分开，但是中间必须有/作为间隔。​

sed的工作流程：​

1：sed默认不编辑原文件，而是逐行操作，复制一份到指定内存(pattern space,模式空间)​

2：pattern space内进行模式匹配，即和指定条件做匹配​

不满足模式：输出到标准输出STDOUT​

满足模式：进行指定的模式操作，再输出到STDOUT​

3：第二个特殊的内存空间 ：保持空间(hold space)，临时保存操作在另一处内存​

4：当执行pattern space和 hold space相关选项时候会进行之间的数据流编辑操作​

5：最后根据操作执行hold space空间操作，选择性显示到STDOUT​

选项参数​

-c/--copy 用拷贝代替重命名​ -e<script>/--expression=<script> 以选项中的指定的脚本来处理输入的文本文件；​ -f<script文件>/--file=<script文件> 以选项中指定的脚本文件来处理输入的文本文件；​ --follow-symlinks 处理输入的文本文件时，追踪软链接，断开硬链接​ -h/--help 显示帮助；​ -i[SUFFIX]/ --in-place[=SUFFIX] 就地编辑文件，提供了后缀名（.bak）则备份文件​ -l N/ --line-length=N 为l命令指定换行的长度n​ -n/--quiet/——silent 不自动打印模式空间内容，仅显示脚本处理后的结果，sed默认打印全部内容​ --posix 禁用所有GNU扩展​ -u/ --unbuffered 从输入文件中加载最小的数据并频繁刷新输出缓冲区​ -V/--version 显示版本信息。​ -r/--regexp-extended 支持使用扩展正则表达式​ -s/--separate 把文件作为单独的个体而不是作为单个连续的长流​

命令​

命令建议用单引号’’或双引号括起来方便区分，多个命令用；隔开。​

a\\ 在当前行下面插入文本。​ i\\ 在当前行上面插入文本。​ c\\ 把选定的行改为新的文本。​ d 删除，删除选择的行。​ D 删除模板块的第一行。​ s 替换指定字符，字符间可用/或@或#隔开​ h 拷贝模板块的内容到内存中的缓冲区。​ H 追加模板块的内容到内存中的缓冲区。​ g 获得内存缓冲区的内容，并替代当前模板块中的文本。​ G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。​ l 列表不能打印字符的清单。​ n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。​ N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。​ p 打印模板块的行。前面可加数字，指定打印第几行​ P(大写) 打印模板块的第一行。​ q 退出Sed。​ b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。​ r file 从file中读行。​ t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。​ T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。​ w file 写并追加模板块到file末尾。 ​ W file 写并追加模板块的第一行到file末尾。 ​ ! 表示后面的命令对所有没有被选定的行发生作用。 示例：1！表明对文中所有行起作用，3！表示对文中第三行及以下行起作用​ = 打印当前行号码。 ​ # 把注释扩展到下一个换行符以前。 ​

替换标记​

g 表示行内全面替换。 ​ p 表示打印行。 ​ w 表示把行写入一个文件。 ​ x 表示互换模板块中的文本和缓冲区中的文本。 ​ y 表示把一个字符翻译为另外的字符（但是不用于正则表达式）​ \\1 子串匹配标记​ & 已匹配字符串标记​

元字符集​

^ 匹配行开始，如：/^sed/匹配所有以sed开头的行。​ $ 匹配行结束，如：/sed$/匹配所有以sed结尾的行。​ . 匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。​ * 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。​ [] 匹配一个指定范围内的字符，如/[sS]ed/匹配sed和Sed。 ​ [^] 匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。​ \\(..\\) 匹配子串，保存匹配的字符，如s/\\(love\\)able/\\1rs，loveable被替换成lovers。​ & 保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。​ \\< 匹配单词的开始，如:/\\<love/匹配包含以love开头的单词的行。​ \\> 匹配单词的结束，如/love\\>/匹配包含以love结尾的单词的行。​ x\\m\\ 重复字符x，m次，如：/0\\5\\/匹配包含5个0的行。​ x\\m,\\ 重复字符x，至少m次，如：/0\\5,\\/匹配至少有5个0的行。​ x\\m,n\\ 重复字符x，至少m次，不多于n次，如：/0\\5,10\\/匹配5~10个0的行。​

脚本地址定界​

/ 在sed中作为定界符使用，也可以使用任意的定界符：| /​ 定界符出现在样式内部时，需要进行转义,示例：sed s/\\/bin/\\/usr\\/local\\/bin/g​ 不给地址：对全文进行处理​ $：表示最后一行​ 地址范围：​ 选定行的范围：,（逗号）​ /pattern/：被此处模式所能够匹配到的每一行​ /pattern/,m:被模式匹配到的第一行起到m行​ n,m 表示从n行到第m行​ n,+m 表示从n行起往后增加m行​ n~m：步进：以n行为基准值，每次增加m行​

组合多个表达式​

sed 表达式 | sed 表达式​ 等价于：​ sed 表达式; 表达式​

常用示例​

显示输入文件的行号​

需用到命令：=:打印当前行号码（包括空白行）​

需用到元字符集：. ：匹配一个非换行符的任意字符​

需用到命令：!： 表示后面的命令对所有没有被选定的行发生作用。​

$ sed = 123.txt #显示文本的每一行行号​ $ sed 3= 123.txt #显示文本的第三行行号​ $ sed "/./=" 123.txt #只显示非空白行的行号​ $ sed -n "/./!=" 123.txt #只显示空白行行号​

显示文件总行数​

需用到元字符集：$:匹配到行结束​

$ sed $= 123.txt #可显示123.txt内总共有多少行，也就是最后一行的行号​

打印输入文件的指定行内容​

需用到-n参数：不自动打印，​

需用到p命令：打印模块的行​

$ sed -n 2p 123.txt #注意一定要加-n，否则会默认自动打印所有内容​ $ sed -n 2 p 123.txt #注意一定要加-n，否则会默认自动打印所有内容​

打印输入文件的指定几行内容​

$sed -n 2,7 p 123.txt #注意一定要加-n，否则会默认自动打印所有内容​ $ sed -n 2,7p 123.txt​ $ sed -n 2,7 p 123.txt #命令也可单独用括起来​

替换输入文件中内容​

需用到-i参数：就地编辑文件，会对源文件作更改​

需用到s命令：替换指定字符，注意字符之间可用/@#隔开，注意如果没有其他命令或者替换标记作为结尾，最后也必须得由它们作为尾字符，​

需用到g替换标记：替换行内的所有匹配内容，前面可加数字，表明第几个匹配位置​

$ sed -i s/bck/sh/ 123.txt 666.txt #替换123.txt、666.txt内的bck为sh，每行只替换一个​ $ sed -i s/bck/sh/g 123.txt #替换123.txt内的bck为sh，每行都进行全面替换​ $ sed -i s/bck/sh/3g 123.txt #替换123.txt内的bck为sh，从第3个匹配位置开始替换​ $ sed -i s@bck@sh@g 123.txt #替换123.txt内的bck为sh，每行都进行全面替换​ #导入Word文档图片# Linux下信号处理 #导入Word文档图片# Linux下目录编程 #导入Word文档图片# Linux下文件目录权限操作 #导入Word文档图片# Linux下线程编程 #导入Word文档图片# Linux下FrameBuffe(LCD)驱动编写 #导入Word文档图片# Linux系统与终端基础命令介绍