Linux 命令行里的 “瑞士军刀”

Posted 2021-04-27 ITPUB技术小栈

点击蓝色字关注"CU技术社区" 一起玩耍哦~

这里说的 “瑞士军刀” 是指那些简单的一句命令就能完成其它高级语言一大片代码才能完成的工作。

下面的这些内容是 Quora 网站上 Joshua Levy 网友的总结：

通过 sort/uniq 获取文件内容的交集、合集和不同之处：假设有 a、b 两个文本文件，文件本身已经去除了重复内容。下面是效率最高的方法，可以处理任何体积的文件，甚至几个 G 的文件。(Sort 对内存没有要求，但也许你需要用 -T 参数。) 可以试着比较一下，你可以看看如果用 Java 来处理磁盘上文件的合并，需要用多少行代码。

 
   
   
 

  
    
    
  
cat a b | sort | uniq > c   # c 是 a 和 b 的合集
 
   
   
 

 
   
   
 

  
    
    
  
cat a b | sort | uniq -d > c   # c 是 a 和 b 的交集
 
   
   
 

 
   
   
 

  
    
    
  
cat a b b | sort | uniq -u > c   # c 是 a 和 b 的不同
 
   
   
 

汇总一个文本内容里第三列数字的和 (这个方法要比用 Python 来做快 3 倍并只需 1/3 的代码量)：

 
   
   
 

  
    
    
  
awk ‘{x += $3} END { print x }’ myfile
 
   
   
 

如果你想查看一个目录树里的文件的体积和修改日期，用下面的方法，相当于你挨个目录做”ls -l”，而且输出的形式比你用”ls -lR” 更可读：

 
   
   
 

  
    
    
  
find . -type f -ls
 
   
   
 

使用 xargs 命令。

这个命令非常的强大。注意每行上你可以控制多少个东西的执行。如果你不确定它是正确的执行，先使用 xargs echo。同样，-I{} 也非常有用。例子：

 
   
   
 

  
    
    
  
find . -name \*.py | xargs grep some_function
 
   
   
 

 
   
   
 

  
    
    
  
cat hosts | xargs -I{} ssh root@{} hostname
 
   
   
 

假设你有一个文本文件，比如一个 web 服务器日志，在某些行上有一些值，比如 URL 中的 acct_id 参数。如果你想统计每个 acct_id 的所有请求记录：

 
   
   
 

  
    
    
  
cat access.log | egrep -o ‘acct_id=[0-9]+’ | cut -d= -f2 | sort | uniq -c | sort -rn
 
   
   
 

转载自：http://www.vaikan.com/what-are-the-most-useful-swiss-army-knife-one-liners-on-unix/

金秋十月与你饮酒论道

SACC2017

作为国内最受欢迎的架构师盛会，2017 第九届中国系统架构师大会 (SACC) 将于将于 2017 年 10 月 19-21 日在北京新云南皇冠假日酒店震撼来袭。

大会以 “云智未来” 为主题，云集国内外顶级专家，围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置 2 大主会场，18 个技术专场；邀请来自互联网、金融、制造业、电商等多个领域，100 余位技术专家及行业领袖来分享他们的经验；并将吸引 4000 + 人次的系统运维、架构师及 IT 决策人士参会，为他们提供最具价值的交流平台。

点击“阅读原文”，立享8.8折购票优惠哦~