linux 命令

Posted 2020-08-25 huuyann

sort命令是帮我们依据不同的数据类型进行排序，其语法及常用参数格式：

　　sort [-bcfMnrtk][源文件][-o 输出文件] 
补充说明：sort可针对文本文件的内容，以行为单位来排序。

参　　数：
  -b   忽略每行前面开始出的空格字符。
  -c   检查文件是否已经按照顺序排序。
  -f   排序时，忽略大小写字母。
  -M   将前面3个字母依照月份的缩写进行排序。
  -n   依照数值的大小排序。
  -o<输出文件>   将排序后的结果存入指定的文件。
  -r   以相反的顺序来排序。
  -t<分隔字符>   指定排序时所用的栏位分隔字符。
  -k  选择以哪个区间进行排序。

列子

进行/boot目录，根据文件大小的顺序输出，从大到小的顺序输出
ls -lA |grep ^- |sort -t ‘ ‘ -nrk 5
ls -lA |grep ^- |sort -nrk 5

-rw-r--r--. 1 root root 43566364 5月 29 2016 initramfs-0-rescue-394ad4829688457ab9375559e4997ede.img
-rw-r--r--. 1 root root 19813159 5月 29 2016 initramfs-3.10.0-327.el7.x86_64.img
-rw-r--r--. 1 root root 17740790 5月 29 2016 initramfs-3.10.0-327.el7.x86_64kdump.img
-rwxr-xr-x. 1 root root 5156528 5月 29 2016 vmlinuz-0-rescue-394ad4829688457ab9375559e4997ede
-rwxr-xr-x. 1 root root 5156528 11月 20 2015 vmlinuz-3.10.0-327.el7.x86_64
-rw-------. 1 root root 2963044 11月 20 2015 System.map-3.10.0-327.el7.x86_64
-rw-r--r--. 1 root root 602631 5月 29 2016 initrd-plymouth.img
-rw-r--r--. 1 root root 252612 11月 20 2015 symvers-3.10.0-327.el7.x86_64.gz
-rw-r--r--. 1 root root 126426 11月 20 2015 config-3.10.0-327.el7.x86_64
-rw-r--r--. 1 root root 166 11月 20 2015 .vmlinuz-3.10.0-327.el7.x86_64.hmac

 

ps -aux命令可以看到系统中所有运行的进程信息
找出3个占用cpu百分比最多的进程名，最后将进程名输出
ps -aux|sed ‘1d‘ |sort -nrk 3 |head -n 3

找出3个占用内存百分比最多的进程名，最后将进程名输出
ps -aux|sed ‘1d‘ |sort -nrk 4|head -n 3

df命令是查看系统磁盘的使用情况的，通过上网或者--help的方法查询df命令的使用
只输出最大的磁盘名
df -m|sort -nrk 2|head -n 1 |awk ‘{print $1}‘
输出使用磁盘百分比最大的挂载点
df -h|sort -nrk 5 |head -n 1|awk ‘{print $NF}‘
输出可用空间最大的磁盘的挂载点
df -m|sort -nrk 4 |head -n 1|awk ‘{print $NF}‘

 

awk

• -F fs or --field-separator fs
  指定输入文件折分隔符，fs是一个字符串或者是一个正则表达式，如-F:。
• -v var=value or --asign var=value
  赋值一个用户定义变量。
• -f scripfile or --file scriptfile
  从脚本文件中读取awk命令。
• -mf nnn and -mr nnn
  对nnn值设置内在限制，-mf选项限制分配给nnn的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
• -W compact or --compat, -W traditional or --traditional
  在兼容模式下运行awk。所以gawk的行为和标准的awk完全一样，所有的awk扩展都被忽略。
• -W copyleft or --copyleft, -W copyright or --copyright
  打印简短的版权信息。
• -W help or --help, -W usage or --usage
  打印全部awk选项和每个选项的简短说明。
• -W lint or --lint
  打印不能向传统unix平台移植的结构的警告。
• -W lint-old or --lint-old
  打印关于不能向传统unix平台移植的结构的警告。
• -W posix
  打开兼容模式。但有以下限制，不识别：/x、函数关键字、func、换码序列以及当fs是一个空格时，将新行作为一个域分隔符；操作符**和**=不能代替^和^=；fflush无效。
• -W re-interval or --re-inerval
  允许间隔正则表达式的使用，参考(grep中的Posix字符类)，如括号表达式[[:alpha:]]。
• -W source program-text or --source program-text
  使用program-text作为源代码，可与-f命令混用。
• -W version or --version
  打印bug报告信息的版本。

1、去重，有多行一样的只显示一行
sort 1.txt | uniq
2、输出行重复的次数，按重复次数从大到小的顺序输出
cat 1.txt |sort |uniq -c //显示每一项重复的次数
cat 1.txt |sort |uniq -c ｜sort -rnk 1

3、输出独一无二的行，即没有重复的行
cat test.txt |sort |uniq -u

 

windows:
1、excel、word

linux：
、
通过uniq --help或者上网去学习uniq命令的使用

##################################################################################

unix2dos //从linux转换到windows 原理：在换行符前面加上回车符^M

dos2unix //从windows转换到linux 原理：去掉每一行的回车符^M

grep  ‘模式‘   文件
grep   [选项]  ‘模式‘   文件


选项
-n     显示被匹配到的内容所在的行号
-o     只显示被匹配到的内容
-v     取反，取匹配到行之外的外，

模式可以使用单引号，也可以使用双引号
一般我们就使用单引号


模式
1、可以一个明确的字符或者字符串
如：grep  ‘root‘   file           //会将含有root的行全部输出
    grep  -n   ‘root‘   file      //将含有root行输出，并打印行号
	

基本正则表达式，	
元字符
^      行起始标记                                  如^root匹配以root开头的行  
$      行尾标记                                    如root$匹配以root结尾的行
.      任意一个字符                                如wor.d能够匹配world，worad、worbd等，因为.能够匹配任意一个字符
[]     匹配包含在[字符]之中任意一个字符	           如a[ab]c能够匹配aac或abc
[^]    匹配[^字符]里面字符之外的任意一个字符       如a[^ac]c，能够匹配a.c，但是.不能够是a或者c，  能匹配 a1c 、a2c 、 afc等只要中间不是a或者c都可以
\      转义字符                                    可以将上面的无字字符进行转义，如‘\$‘可以忽略$的特殊意义
*      匹配之前的项0次或者多次                     如ft*  可以匹配f     ft     ftt     fttt        fttttttttttttttttt             


【.*    任意个字符，0个或者多个】

安装httpd，将它的主配置文件，复制到/opt目录
练习：
1、只查看文件中含有Listen的行
2、只查看文件中以Listen开头的行
3、只查看以数字结尾的行
4、查看以<开头并且以>结尾的行
5、查看文件中含有if或者If的行                     ##grep ‘[Ii]f‘  file.txt
6、不显示文件中以#号开头的所有内容                ##grep ‘^#‘  -v
7、不显示文件里的空白行                           ##grep ‘^$‘  -v
8、使用ifconfig命令结合grep命令的方式，输出系统中所有的网卡
9、使用date命令结合grep的方式，输出系统中的时间   ##date |grep ‘[0-9][0-9]:[0-9][0-9]:[0-9][0-9]‘ -o




扩展的正则元字符
(要使用扩展正则表达式，3种方式，
1、使用egrep命令
2、使用grep  -E 
3、使用grep命令，但是遇到元字符的时候、就要加上转义
?        匹配之前的项0次或者1次         
+        匹配之前的项1次或者多次           
{n}      匹配之前的项n次
{n,m}    匹配之前的项n到m次，包括n或者m
{n,}     匹配之前的项n任意次
()       "组"字符串，如(ab)*，代表0个或者多个ab的组合
|        或者，即匹配|两边的任意一项

<>       <内容>中的内容必须以单词出现，<和>都需要加上转义字符


练习：
1、查看文件中，以2个数字结尾的行
2、显示/etc/passwd文中的两位数或者三位数
3、通过shell脚本，让用户输入，判断用户输入的是否是一个合格的纯数字




a-z       ==     [:lower:]
A-Z       ==     [:upper:]
a-zA-Z    ==     [:alpha:]
0-9       ==     [:digit:]
特殊符    ==     [:punct:]


\s     表示空白符

1、过滤下面文本的ip地址
aoot:x:0:0:Root:/aoot:$/bin/bash
root:x:0:0:root:/root:/bin/bash
x:0:0:root:/root:/bin/bash/root
root:0:0:root:/root:/bin/bash/root
ftp:x:14:50:FTP ^User:/var/ftp:/sbin/nologin
fap:x:14:50:FTP 256.258.1.2  U$ser:/var/ftp:/sbin/nologin
192.168.100.140   252130613a1
0.0.0.127   13608001910
172.16.299.1  00.00.00.00:00:00
169.169.1.2
aabc$


[第一段].[第二段].[第三段].[第四段]

1位数：0-9
2位数：10－99
3位数：1xx    200-249    250-255



tr的作用

1、替换，只能替换单个字符
echo abc | tr  ‘a-z‘  ‘A-Z‘
a--->A
b--->B

cat file | tr ‘a-z‘  ‘A-Z‘    将文本里的全部小写转换成大小
cat file | tr ‘A-Z‘  ‘a-z‘    将文本里的全部小写转换成大小


2、删除作用，也只是删除单个字符
tr   -d    ‘参数‘
tr   -d  ‘a-z‘   删除全部的小写字母
tr   -d  ‘0-9‘   删除全部的数字


3、压缩后再替换
tr -s  ‘\n‘   ‘,‘        #先将多个连续的\n换行符压缩，压缩之后再进行替换

.          任意单个字符
*          匹配前面的项0次到多次
[]         匹配[]内的任意单个字符
[^]        排除[]内的任意单个字符

^          以什么开头
$          以什么结尾

()       可以加入元字符，串组       


?          匹配前面的项0次到1次
+          匹配前面的项1次到多次
{n,m}      匹配前面的项n次到m次

<>          

grep匹配的原则：采用贪婪模式，会进行最长的匹配



-B  n    将匹配内容所有的行的前面n行也进行输出
-A  n    将匹配内容所有的行的后面n行也进行输出
-C  n    将匹配内容所有的行的前后n行也进行输出


-v       将匹配内容所有行之外的行输出
-E       启动扩展正则支持
-i       忽略大小写

-n       将匹配的模式所有的行号也进行输出

-o       仅显示被匹配到的内容
-c       统计被匹配到的内容一共有多少

-f  file    使用指定的文件里的模式，如果有项，写到多行，最终进行或关系的查询

-H       输出每一个被匹配到的行前面加上它所在的文件名


-l       仅仅输出匹配到的模式所在的文件名，只输出文件名
-L       ~~~~~~~~~~~~~~~~
-w       当后面的模式为一个单词，才算匹配到







文本处理

grep   vim   

cat  
tac  
 
head  -n  a   ##输出前面a行
tail  -n  a   ##输出后面a行




sed命令


sed  [选项]   ‘command‘    ......

动作：
p      打印输出
d      删除操作
a      在指定的行后面添加一行内容
i      在指定的行前面添加一行内容




1、查看操作
sed  -n   ‘5p‘   file     //只查看文件的第5行
sed  -n   ‘3,5p‘  file    //查看文件的第3到第5行
sed -n ‘5,$ p‘   file     //打印第5到最后一行



2、删除操作
sed ‘3 d‘ 1.txt       //删除文件的第3行 ，然后将内容进行输出，不是直接操作的文件，
sed ‘3,5 d‘ 1.txt
sed ‘3,$ d‘ 1.txt

sed在操作文件，只有加上-i选项才是直接操作



3、添加操作

sed  ‘2a word‘  file           //在第二行后面添加一行，内容为word   ,即添加的内容为第三行
sed  ‘3i word‘  file           //在第三行前面添加一行，内容为word   ,即添加的内容为第三行


思考：怎么在指定行后面添加2行内容



3、查找操作
sed  -n  ‘/root/p‘ file       //只输出root关键字的行

sed  ‘/root/d‘  file                    //将含有root的行删除，然后输出,,加上-i可以操作原文件


4、替换操作
sed ‘s/root/new/‘   file            //将文件中的root替换成new，每行只替换一次，加上-i可以操作原文件
sed ‘s/root/new/g‘   file            //将每行的所有root全部替换成new
sed ‘3,4s/root/new/g‘ 1.txt          //只替换第3到第4行的root为new




练习：
1、selinux配置文件的SELINUX默认的值为enforcing，使用sed将其修改为permissive
将/etc/passwd复制到/opt目录进行操作
2、使用sed命令输出/etc/passwd的第5到第7行的内容
4、将passwd文件中第2到第3行的所有d替换成DD



5、只输出passwd文件的第6段内容
cat /etc/passwd|grep ‘/.*‘ -o |sed ‘s/:.*//‘


cat /etc/passwd | cut -d ‘:‘ -f 6

了解一下cut命令的使用方法






思考:

1.将/etc/passwd最后一段全部改成/bin/bash

cat /etc/passwd|sed  ‘s/\(.*:\)\(.*\)/\1\/bin\/bash/‘
cat /etc/passwd|grep ‘\(.*:\)‘ -o  |sed ‘s/$/\/bin\/bash/‘

\1  代表前面第一个小括号中匹配的内容
\2  代表前面第二个小括号中匹配的内容

&   代表所有匹配的内容



2.将/etc/passwd每行前面的用户名，添加到最后一段
如：root:x:0:0:root:/root:/bin/bash
处理后应该为
    root:x:0:0:root:/root:/bin/bash:root

	
3.一文本内容如下：
192.168.100.2
172.16.5.4
10.101.2.5
133.37.25.21

通过命令将其处理成如下效果(转换到一行，通过逗号隔开，每行内容用单引号引起来):
‘192.168.100.2‘,‘172.16.5.4‘,‘10.101.2.5‘,‘133.37.25.21‘


cut命令，以指定分隔符分隔的段输出

cat /etc/passwd |cut -d ‘:‘ -f 7    //只看第7段的内容
cat /etc/passwd |cut -d ‘:‘ -f 1,3,5   //只看第1段、第3段、第5段

cut -d ‘:‘ -f 1-5   //第一到第5段
cut -c  1-5     //输出每行前面的第1到第5个字符
cut -c 3-       //输出第3个字符到最后一个字符

tac cat反向输出