Linux之数据提取操作

Posted 2021-07-07 buling_buling_

数据提取操作

1、操作命令（都可以结合pipe使用）

1、cut：切分操作（可以切分出一整列）

2、grep：检索（可以使用正则表达式）

3、sort：排序（可以对整列排序）

4、wc：统计字符、字数、行数

5、uniq：去重（只去除连续的重复值）

6、tee：双向重定向

7、split：文件切分（按字节大小、按行等）

8、xargs：参数代换（结合pipe使用）

9、tr、替换、压缩和删除

2、具体操作

（1）cut 切分：cut [option] <file>

-d c：以c字符分割
-f num：显示num字段的内容【n-；n-m；-m；m,n】

-b num：按字节切分 <<=>> -c num：按字符切分

（2）grep 检索

-c :统计搜寻到的行数

-i：忽略大小写
-n ：顺序输出行号

-v：反向输出(去掉不想要的内容)

-w：匹配整个单词而不是一部分

（3）sort 排序（默认以字符串第一个字符从小到大排序）

-f：忽略大小写
-M：以月份名称排序
-n：根据数值排序
-r：反向排序
-t：分割字符：指定排序时用的栏位分割字符
-k：以哪个区间排序
例如：将 /etc/passwd中的内容按照uid反向排序

（4）wc 统计字符、字数、行数

-l ：仅列出行数
-w：仅列出字数
-c：列出字节数
-m：列出字符数
-L ：统计最长行字符数

（5）uniq 去重

-i：忽略大小写
-c：对重复项计数
-u：只输出不重复的行
使用last命令输出登录用户名及次数

（6）tee 双向重定向

-a：append追加（既打印在屏幕上又打印进文件中）

（7）splite 文件切分

-b SIZE：切分为SIZE bytes 大小的文件
-C SIZE：切分为SIZE bytes大小的文件不断开一行
–l num：以num行为大小进行切分

图中切分为每3行一个文件，所以ls之后有了6个文件

（8）xargs 参数代换（管道后面不收标准输入时使用）

-p：执行命令前先询问
-n num：每次执行command时需要的参数个数
-eEOF：执行到EOF这个参数就结束

按照用户名查看 /etc/passwd中的用户，当读到‘sync’用户时结束

（9）tr 替换、删除、压缩（tr [ option] <字符集1><字符集2>）

-c ：替换所有不属于第一字符集的字符
-d：删除所有属于第一字符集的字符
-s：将连续重复的字符以单独一个字符表示

词频统计

a.txt 文件的内容
进行统计