Linux学习笔记 第八章 文本处理工具与正则表达式

Posted 浇、水

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Linux学习笔记 第八章 文本处理工具与正则表达式相关的知识,希望对你有一定的参考价值。

1.1文本提取工具

1.cat:查看文件内容,打印一个或多个文件到标准输出
-n 打印行号
cat -n file1 file2 >> file3

2.head:默认打印前十行,可以接受文件和管道
- n +N 指定前N行,默认不带符号
- n -N 去掉末尾N行
cat -n file1 | head -n 5 查看开头5行,带行号
cat -n file1 | head -n -5 查看除掉末尾5行的所有行,带行号

3.tail:默认打印后十行
- n -N 指定末尾N行,默认不带符号
- n +N 从第N行到末尾
常用,可以查看日志
tail -f file/* 实时监控文件 tailf = tail -f

查看10到20行:cat -n | head -n 20 | tail -n 11

4.more:分页显示,一次性查看
more file
5.less:分页多次查看
less file
/text 查找关键词
g或G 第一页 最后一页
按v 进入vim编辑模式
按q 退出less
(man使用的就是less分页工具)

6.grep:过滤行,行为操作单位
grep text file 显示file文件中带有text字符串的行
常用
-i:忽略大小写敏感
-n:打印匹配的行号
-o:只显示匹配的内容,一个一行
-w:只匹配该单词,而不是含有该单词的单词
-c:匹配成功的行数
-v:打印不匹配的行
-q:静默输出(无输出),使用$?判断是否执行成功
-Ax:将匹配行及其后x行一起打印
-Bx:将匹配行及其前x行一起打印
-Cx:将匹配行及其前,后x行一起打印
-r:递归搜索目录,查找字符串所在的文件,后接目录
-l:匹配成功,只列出文件名,多于-r使用
–color=auto:用color颜色高亮显示匹配数据

1.2基本正则表达式

^String :以String开头的行
例:grep -w ‘^root’ file01:过滤file01文件中以root单词开头的行
String$ :以String结尾的行
例:grep -w 'bash$ ’ file01:过滤file01文件中以bash单词结尾的行
’^$'表示空行
\\<String:以String开头的单词
String\\>:以String结尾的单词
\\<String\\>等价于-w
.:对单个字符进行匹配,代表任意一个字符
[abc]:代表abc中任意单个字符,是其中一个,a或b或c
[^abc]:除了abc以外的任意单个字符,肯定不是a不是b不是c
^[abc]:a或b或c开头的行
^[^abc]: 不以a或b或c开头的行
[a-z]:a到z之间任意一个
[0-9]:数字
[a-z]:小写
[A-Z];大写
[a-zA-Z]:所有字母
[^a-zA-z0-9]: 除了字母和数字
\\:转义字符
例:grep ‘^\\[’ file01 ,过滤"["开头的行
*:对前一项字符进行0到多次匹配
例:"ro*"代表 r 或 ro 或 roo 或 rooo…
“.*” 任意字符出现任意次

1.3扩展正则表达式

基本正则表达式依然适用
使用扩展正则表达式进行行过滤要使用 grep -E 或者 egrep
+:对前一个字符进行1到n次匹配,类似*
?:对前一个字符进行0到1次匹配,类似*
j:对前一个字符进行j次匹配
j,:对前一个字符进行j到若干多次匹配
,k:对前一个字符进行0到k次匹配
j,k:对前一个字符进行j到k次匹配
s|t匹配s或者匹配t
(exp):将exp当作单项处理

1.4cut-提取列或字段

cut -d: -f1 /etc/passwd
-d:指定分隔符
-f:指定第几列
-c1-5:截取第1到5个字符
提取passwd文件以":"分割的第一列

1.5文本分析工具

  • 文本统计:wc
    -l 统计行
    -w 统计单词
    -c 统计字节
  • 文本排序:sort
    -t:指定分隔符
    -k:指定列
    -n:按数值大小排序
    -r:降序,从大到小
    -u:去重复行
    例:sort -t: -k3 -n passwd
    ps -eo %cpu,%mem,command | tail -n +2 | sort -rn | head
  • 去除相邻重复行:uniq
    -c:重复行出现次数
  • 文件比较:diff

1.6文本操作工具

  • 文本转换工具:tr 把一种类型字符转换为另一种字符
    -s:去除重复字符串
    tr ‘/’ ‘\\n’ 将所有/转换成换行符
    tr ’A-Z‘ ’a-z‘ 大小写转化
    tr -s ’ ’ 去除空格
  • 流编辑器:sed
    sed-流编辑器用法:
    sed 选项 ‘str’ 文件名
    sed -n -r ‘/regxp/p’ file 打印匹配正则表达式所在的行,无高亮
    -r:支持扩展正则
    -n:静默输出


    示例:

以上是关于Linux学习笔记 第八章 文本处理工具与正则表达式的主要内容,如果未能解决你的问题,请参考以下文章

第六章,文本处理工具和正则表达式

2018-1-15 Linux学习笔记

14自学——Linux的学习进度与任务正则表达式

Linux文本处理工具和正则表达式

全文本搜索

全文本搜索