Linux正则表达式

Posted 2021-03-01 出水芙蓉薇薇

一、正则表达式的意义

      处理大量的字符串

      处理文本

      通过特殊符号的辅助，让Linux管理员快速过滤、替换、处理所需要的字符串、文本，让工作高效。

二、Linux三剑客

      文本处理工具，均支持正则表达式引擎

      grep：文本过滤工具（模式：pattern）

      sed ：stream editor，流编辑器，文本编辑工具

      awk ：Linux的文本报告生成器（格式化文本），Linux上是gawk

三、基本正则表达式BRE集合

      匹配字符

      匹配次数

      位置瞄定  

四、扩展正则表达式ERE集合

      扩展正则必须用grep -E才能生效

五、grep命令

      作用：文本搜索工具，根据用户指定的模式（过滤条件），对目标文本逐行进行匹配检查，打印匹配到的行

      模式：由正则表达式的元字符及文本字符所编写的过滤条件。

      语法：grep [options] [pattern] file

        

  grep命令实践

 注：^：表示以某字符为开头

        .：表示任意0或者多个字符

       .* ：表示匹配所有内容

        .*o：一直到字母o结束（匹配到相同字符到最后一个字符的特点，称之为贪婪匹配）

        [a-z]：匹配所有小写单个字母

        [A-Z]：匹配所有单个大写字母

        [a-zA-Z]：匹配所有的单个大小写字母

        [0-9]：匹配所有单个数字

        [a-zA-Z0-9]：匹配所有数字和字母

 扩展正则表达式grep -E

      +号：表示匹配前一个字符1次或者多次，必须用grep -E扩展正则

      ？号：表示匹配前一个字符0次或者1次

      | 符：或者的意思

    （））小括号：将一个或者多个字符捆在一起，当做一个整体进行处理

      注：小括号功能之一是分组过滤被括起来的内容，括号内的内容表示一个整体

              括号（）内的内容可以被后面的”\\n“正则引用，n表示数字，表示引用第几个括号的内容

              \\1：表示从左侧起，第一个括号中的模式所匹配到的字符

               \\2：表示从左侧起，第二个括号中的模式所匹配到的字符

      {n,m}匹配次数：重复前一个字符的各种次数，可以通过-o 参数显示明确的匹配过程

 

 

 

 六、sed命令

    sed是字符流编辑器，简称流编辑器。sed是操作、过滤和转换文本内容的强大工具

    常用功能包括结合正则表达式对文件实现快速增删改查，其中查询的功能中，最常用的两大功能是过滤（过滤指定的字符串）、取行（取出指定的行）

   语法：sed 【选项】 【sed内置命令】【输入文件】

   选项：

 

   内置命令符（用于对文件进行不同的操作功能）

   sed匹配的范围

   注：sed要实现grep的过滤效果，必须把要过滤的内容放在双斜杠中

           sed想要修改文件内容，必须用参数-i

           s内置符配合g，代表全局替换，中间的“/”可以替换成“#@/”等

 

 

 

 

 

    示例：取出Linux的ip 地址（去头去尾法）

  通过shell脚本生成的账号密码格式如下：

 

  svn服务的配置文件中的密码及账号格式如下：

 

  使用sed命令将shell脚本生成的账号密码，转换成SVN服务的配置文件中的账号及密码格式

 

 sed内置命令N的作用：不会清空模式空间的内容，并且从输入文件中读取下一行数据，追加到模式空间中，两行数据以换行符\\n连接。

七、awk命令

    awk有强大的文本格式化的能力。支持条件判断、数组、循环等功能。

    grep：擅长单纯的查找或匹配文本内容

    awk：更适合编辑、处理匹配到的文本内容

    sed ：更适合格式化文本内容，对文本进行复杂处理

    awk 语法：awk [option]  \'pattern[action]\'  file ...

    awk 参数 ‘条件动作’ 文件

  

    action指的是动作，awk擅长文本格式化，且输出格式化后的结果，因此最常用的动作是print和printf

    awk 默认以空格为分隔符，且多个空格也识别为一个空格，作为分隔符。awk按行处理文件，一行处理完毕，处理下一行，根据用户指定的分隔符工作，没有默认空格。

    指定了分隔符后，awk把每一行切割后的数据对应到内置变量中。

    

     $0：表示整行

     $NF：表示当前分割后的最后一列

     $(NF-1)：表示倒数第二列

  1. awk内置变量

     awk可以自动定义输出内容。awk 必须外层单引号，内层双引号。内置变量都不得添加双引号，否则会被识别为文本。

  2. awk参数

  3. awk实践

 

  

 

 

 

 

4. awk分隔符

    输入分隔符：awk默认是空格，空白字符，变量名是FS

    输出分隔符：简称OFS

    处理特殊文件时，如果没有空格，可以自由指定分隔符特点

    除了使用-F 选项，还可以使用变量的形式，指定分隔符，使用-v选项搭配，修改FS变量

    awk 执行完命令，默认用空格隔开每一列，这个空格就是awk的默认输出符

    输出分隔符与逗号：awk添加逗号，默认是空格分隔符

    修改分隔符，改为\\t（制表符，四个空格）或者任意字符

5. awk变量

    awk参数

    变量分为：内置变量和自定义变量

    内置变量：NR、NF、FNR，其中NR、NF是不用添加符号$，而$0,$1,$2...是需要添加$符号的

    内置变量：RS——RS变量作用是输入分隔符，默认是回车符，也就是换行符。也可以定义#为行分隔符，每遇见一个#，就换行处理。

    内置变量：ORS—ORS是输出分隔符，awk默认每一行结束了，就得添加回车换行符，ORS可以更改输出符

   内置变量FILENAME——显示awk正在处理文件的名字

   变量ARGC、ARGV——ARGV表示的是一个数组，数组中保存的是命令行所给的参数。

   自定义变量：方法一（-v varName=value）方法二，在程序中直接定义

 

 

6. awk格式化

  printf格式化输出，需要指定format,format用于指定后面的每个item的输出格式。printf语句不会自动打印出换行符。format格式的指示符都以%开头，后跟一个字符。printf修饰符：-：表示左对齐；默认是右对齐；+：显示数值符号；printf "%+d"

  printf对输出的文本不会换行，必须添加对应的格式替换符和\\n

  使用printf动作，‘{printf  "%s\\n",$1}’ 替换的格式和变量之间得有逗号。%d %s等替换符必须和被格式化的数据一一对应。

7. awk模式pattern

    特殊的pattern：BEGIN和END

    BEGIN：是处理文本之前需要执行的操作

    END：是处理完所有行之后要执行的操作

    awk默认是按行处理文本，如果不指定任何模式（条件），awk默认一行行处理。如果指定了模式，只符合模式的才会被处理。

   awk模式

   awk和sed命令使用正则表达式，必须把正则放入‘//’中，匹配到结果后执行动作。

   awk命令执行流程

   awk \'BEGIN{commands} pattern { commands} END{commands} \'

   优先执行BEGIN{}模式中的语句；然后执行pattern{commands}进行匹配，找到了执行命令；最后当awk读取文件数据流的结尾时，会执行END{commands}

 

 

 

awk实战统计企业nginx日志ip数量

使用awk函数功能实现，将文件中的/sbin/nologin替换成/bin/bash

 使用了awk里面的查找功能，即gsub函数。

 gsub的格式：gsub("替换对象“，”替换成什么内容“，哪一列）

 注：

 gsub与后面的括号之间不能有空格

 替换对象、替换成什么内容以及哪一列之间要用逗号分隔开

 替换对象的外面要有双引号或者双斜线包裹起来，即”替换对象“或/替换对象/

 替换成什么内容就只能用双引号包裹起来，即”替换成什么内容“

 最后一个是哪一列，这个是可以省略的，省略的时候表示要替换整行内容，相当于写上了$0.