linux运维升级打怪之Linux基础

Posted SRE学习之路

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux运维升级打怪之Linux基础相关的知识,希望对你有一定的参考价值。

1.5 linux基础(五)文本处理工具

1.5.1 文件查看cat,tac,rev,more,less,head,tail

1.5.1.1 文件查看命令:cat,tac,rev

  • cat [OPTION]... [FILE]...

    • -E: 显示行结束符$

    • -n: 对显示出的每一行进行编号

    • -A:显示所有控制符

 [root@CentOS7 ~]# cat >>f1 <<EOF
 > df
 > df
 > EOF  
 > EOF  
 >    ##为什么没有退出来,EOF后面不能加空格
 [root@CentOS7 ~]# cat -A f1
 dfl$
 dsfj$
 [root@CentOS7 ~]# cat -n f1
  1 dfl
  2 dsfj
 
 [root@CentOS7 ~]# cat -E f1
 dfl$
 dsfj$
  EOF$
 dfl$
 dsfj$
  EOF$
 dfj$
  • -b:非空行编号

 [root@CentOS7 ~]# cat -b f1
  1 dfl
 
 
 
  2 dsfj
  3 EOF
  4 dfl
  5 dsfj
  6 EOF
  7 dfj
  8 fdksfl
  9 dfj
 10 fdksfl
 11 dfj
 12 fdksfl
  • -s:压缩连续的空行成一行

 [root@CentOS7 ~]# cat f1
 dfl
 
 
 
 
 dsfj
  EOF
 dfl
 dsfj
  EOF
 [root@CentOS7 ~]# cat -s f1
 dfl
 
 dsfj
  EOF
 dfl
 dsfj
  EOF
  • tac:逆序

 [root@CentOS7 ~]# tac f1
 fdksfl
 dfj
 fdksfl
 dfj
 fdksfl
 dfj
  EOF
 dsfj
 dfl
  EOF
 dsfj
  • rev:逆序(文件中的每一行都倒着显示)

 [root@CentOS7 ~]# rev f1
 lfd
 jfsd
 FOE
 lfd
 jfsd
 FOE
 jfd
 lfskdf

1.5.1.2 more

  • 分页查看文件

more [OPTIONS...] FILE...

  • -d: 显示翻页及退出提示

1.5.1.3 less

一页一页地查看文件或STDIN输出

查看时有用的命令包括:

/文本 搜索 文本

n/N 跳到下一个 或 上一个匹配

less 命令是man命令使用的分页器

1.5.1.4 head

head [OPTION]... [FILE]...

  • -c #: 指定获取前#字节

 [root@CentOS7 data]# head -c4 /etc/passwd
 root[root@CentOS7 data]# head -c8 /etc/passwd
 root:x:0[root@CentOS7 data]#
  • -n #: 指定获取前#行

  • -#:指定行数

 [root@CentOS7 data]# head -n2 /etc/passwd
 root:x:0:0:root:/root:/bin/bash
 bin:x:1:1:bin:/bin:/sbin/nologin

1.5.1.5 tail

tail [OPTION]... [FILE]...

  • -c #: 指定获取后#字节

  • -n #: 指定获取后#行相当于-#

  • -f: 跟踪显示文件fd新追加的内容,常用日志监控相当于 --follow=descriptor

  • -F: 跟踪文件名,相当于—follow=name --retry

tailf 类似tail –f,当文件不增长时并不访问文件

1.5.2 按列抽取文本cut

cut [OPTION]... [FILE]...

显示文件或STDIN数据的指定列

  • -d DELIMITER: 指明分隔符,默认tab

  • -f FILEDS:

  • #: 第#个字段

  • #,#[,#]:离散的多个字段,例如1,3,6

  • #-#:连续的多个字段, 例如1-6,混合使用:1-3,7

  • -c 按字符切割

  • --output-delimiter=STRING指定输出分隔符

显示文件或STDIN数据的指定列

 [root@CentOS7 data]# cat /etc/passwd |cut -d: -f1
 root
 bin
 daemon
 adm
 lp
 sync
 [root@CentOS7 data]# cut -d: -f1 /etc/passwd ##取出用户名
 [root@CentOS7 data]# cat /etc/passwd | cut -d: -f7
 /bin/bash
 /sbin/nologin
 
 [root@CentOS7 data]#cut -c2-5 /usr/share/dict/words
 ##取出第二到第五个字节

1.5.3 paste

合并两个文件同行号的列到一行(横向合并)

paste [OPTION]... [FILE]...

  • -d 分隔符:指定分隔符,默认用TAB

  • -s : 所有行合成一行显示

 [root@CentOS7 scripts]# cat f1
 aaa
 bb
 cc
 [root@CentOS7 scripts]# cat f2
 xxx
 yy
 [root@CentOS7 scripts]# paste f1 f2
 aaaxxx
 bbyy
 cc
 [root@CentOS7 scripts]# cat f1 f2
 aaa
 bb
 cc
 xxx
 yy
 [root@CentOS7 scripts]# cat f1 f2 >f4
 [root@CentOS7 scripts]# cat f4
 aaa
 bb
 cc
 xxx
 yy
 [root@CentOS7 scripts]# paste -s f1 f2
 aaa bb cc
 xxxyy
 [root@CentOS7 scripts]# paste -d ":" f1 f2
 aaa:xxx
 bb:yy
 cc:

1.5.4 收集文本统计数据wc

  • 计数单词总数、行总数、字节总数和字符总数

  • 可以对文件或STDIN中的数据运行

  • wc story.txt

    39     237    1901 story.txt

    行数   字数 字节数  文件名

  • 常用选项

    • -l 只计数行数

    • -w 只计数单词总数

    • -c 只计数字符总数

    • -L 显示文件中最长行的长度

 [root@CentOS7 data]# cat /etc/passwd |wc -l
 64
 [root@CentOS7 data]# cat /etc/passwd |wc -L
 99
 [root@CentOS7 data]# cat /etc/passwd |wc -c
 3171
 [root@CentOS7 data]# cat /etc/passwd |wc -w
 109

   

1.5.5 文本排序sort

sort [options] file(s)

默认排序会把相同的行放在一块

常用选项

  • -r 执行反方向(由上至下)整理

  • -R  随机排序

 [root@CentOS7 scripts]# seq 72 |sort -R |head -n1
 35 ##随机排序,取出随机数,抽奖
  • -n 执行按数字大小整理

  • -f 选项忽略(fold)字符串中的字符大小写

  • -u 选项(独特,unique)删除输出中的重复行

  • -t :选项使用:作为字段界定符

  • -k # 选项按照使用c字符分隔的#列来整理能够使用多次 #(为数字)

练习:统计一篇英文文章中,单词出现频率最高的前3个单词

 [root@CentOS7 data]# cat f1|tr " " "\n"|tr -d [:punct:]|sort|uniq -c|sort -n|tail -n3
 9 and
 9 of
 15 the

1.5.6 uniq 默认会将重复行排序到一起

uniq命令:从输入中删除前后相接的重复的行

uniq [OPTION]... [FILE]...  

  • -c: 显示每行重复出现的次数

  • -d: 仅显示重复过的行

  • -u: 仅显示不曾重复的行

注:连续且完全相同方为重复-

常和sort 命令一起配合使用:   

sort  userlist.txt  |  uniq  -c

实验:对/var/log/httpd/access_log 日志文件访问ip进行排序,取出访问量最高的前十个ip

 cat /var/log/httpd/access_log  | cut -d" " -f1|sort |uniq -c |sort -nr|head -n10

1.5.7 比较文件diff 命令

比较两个文件之间的区别

 [root@CentOS7 data]# diff foo.conf foo2.conf
 5c5
 <   use_widgets = no  
 ---  
 > use_widgets = yes ##注明第5行有区别(改变)

1.5.8 复制对文件改变patch

diff 命令的输出被保存在一种叫做“补丁”的文件中

使用 -u 选项来输出“统一的(unified)”diff格式文件,最适用于补丁文件

patch 复制在其它文件中进行的改变(要谨慎使用) 适用

-b 选项来自动备份改变了的文件

 $ diff -u foo.conf foo2.conf > foo.patch
 
 ##将文件foo.conf和foo2.conf比较差异,将生成的补丁放到foo.patch++
 
 $ patch foo.conf foo.patch
 
 ##将foo.conf打上补丁就变成了foo2.conf文件中的内容,不过foo.conf文件内容就被覆盖了
 
 $ patch -b foo.conf foo.patch  
 ##将foo.conf先备份,后打补丁,找回foo2.conf

练习:

 [root@CentOS7 scripts]# ifconfig ens33|head -n2 |tail -n1|tr -s ' '|cut -d' ' -f3
 192.168.110.131

2、查出分区空间使用率的最大百分比值

 [root@CentOS7 scripts]# df |grep "/dev/sd" |tr -s ' ' '%'|cut -d% -f5|sort -n |tail -n1
 16

3、查出用户UID最大值的用户名、UID及shell类型

 [root@CentOS7 scripts]# cat /etc/passwd |sort -t: -k3 -nr|head -n1|cut -d: -f1,3,7
 nfsnobody:65534:/sbin/nologin

4、查出/tmp的权限,以数字方式显示

 [root@CentOS7 scripts]# stat /tmp|cut -d'/' -f1|head -n4|tail -n1|cut -d'(' -f2
 1777
 [root@CentOS7 scripts]# stat /tmp |egrep -o "\([0-9]{3,4}"

5、统计当前连接本机的每个远程主机IP的连接数,并按从大到小排序

 [root@CentOS7 scripts]# netstat -nt |tr -s ' ' :|cut -d: -f6|tr -dc '[0-9].\n'|sort|uniq -c |sort -nr
 3 192.168.110.1
 2
 1 192.168.110.128
 [root@CentOS7 scripts]# netstat -nt |grep "tcp"|tr -s ' ' ':'|cut -d: -f6|sort |uniq -c |sort -nr
 2 192.168.110.1
 1 192.168.110.128


以上是关于linux运维升级打怪之Linux基础的主要内容,如果未能解决你的问题,请参考以下文章

从苦逼到牛逼,详解Linux运维工程师的打怪升级之路

打怪升级之小白的大数据之旅(三十八)<Linux基础知识>

打怪升级之小白的大数据之旅(三十九)<Linux常用命令>

[Linux打怪升级之路]-重定向

[Linux打怪升级之路]-环境变量

[Linux打怪升级之路]-文件操作