linux之xargs

Posted 2020-10-15 physique

xargs从标准输入(stdin)中读取数据进行处理

• 数据以空格进行分隔
• 可以根据参数进行一次或多次处理,默认的处理命令是/bin/echo
• 空行不进行处理,会被忽略
• 遇到命令状态为255时,xargs会立刻停止,譬如发生错误时.

下面我们来看看xargs有哪些参数可以选择.

2.options

• -a file
  : 从file中读入数据

  $cat 1.txt
  aaa bbb ccc ddd
  a b
  $xargs -a 1.txt 
  aaa bbb ccc ddd a b

• -0
  : 当输入有特殊字符时,将其当作一般字符处理,比如""和空格

  $echo "// " | xargs
  //
  $echo "// " | xargs -0
  //
  　

• -d
  : 指定分隔符

  $cat 1.txt
  aaa bbb ccc ddd
  a b
  $cat 1.txt | xargs -d ‘c‘
  aaa bbb     ddd
  a b
  　

• -E eof-str
  : 指定结束标志为eof-str,xargs处理到这个标志就会停止

  $xargs -E ‘ddd‘ -a 1.txt
  aaa bbb ccc
  $xargs -E ‘dd‘ -a 1.txt
  aaa bbb ccc ddd a b
  $cat 1.txt | xargs -E ‘ddd‘
  aaa bbb ccc

• -I replace-str
  : 将每行输入输入内容替换为replace-str

  $cat 1.txt
  aaa bbb ccc ddd
  a b
  $cat 1.txt | xargs -t -I {} echo {} >> 1.txt
  echo aaa bbb ccc ddd 
  echo a b
  $cat 1.txt
  aaa bbb ccc ddd
  a b
  aaa bbb ccc ddd
  a b

• -i
  : 等同于-I{}

  $cat 1.txt
  aaa bbb ccc ddd
  a b
  $cat 1.txt | xargs -t -i echo {} >> 1.txt
  echo aaa bbb ccc ddd 
  echo a b
  $cat 1.txt
  aaa bbb ccc ddd
  a b
  aaa bbb ccc ddd
  a b

• -L max-lines
  : 每次读取max-line行输入交由xargs处理

  $cat 1.txt
  aaa bbb ccc ddd
  a b
  $cat 1.txt |xargs -L 2
  aaa bbb ccc ddd a b
  $cat 1.txt |xargs -L 1
  aaa bbb ccc ddd
  a b

• -l
  : 类似于-L,区别在于-l可以不指定参数,默认为1.

• -n max-args
  : 每行执行max-args个输入,默认执行所有

  $cat 1.txt | xargs -n 2 
  aaa bbb
  ccc ddd
  a b

• -p
  : 交互模式,执行前询问是否执行

  $cat 1.txt | xargs -p
  /bin/echo aaa bbb ccc ddd a b ?...y
  aaa bbb ccc ddd a b
  $cat 1.txt | xargs -p
  /bin/echo aaa bbb ccc ddd a b ?...n

• -r
  : 无输入则停止执行,默认至少执行1次

  $ echo ""|xargs -t mv
  mv 
  mv: missing file operand
  Try `mv --help` for more information.
  $ echo ""|xargs -t -r mv    #直接退出

• -s max-chars
  : xargs每次执行命令的最大长度(含空格)

  $ cat 1.txt
  aaa bbb ccc ddd a b
  $ cat 1.txt |xargs -t -s 30
  /bin/echo aaa bbb ccc ddd a b 
  aaa bbb ccc ddd a b
  #length(/bin/echo aaa bbb ccc ddd a b )=30
  $cat 1.txt |xargs -t -s 14
  /bin/echo aaa 
  aaa
  /bin/echo bbb 
  bbb
  /bin/echo ccc 
  ccc
  /bin/echo ddd 
  ddd
  /bin/echo a b 
  a b
  #length(/bin/echo aaa )=14

• -t
  : 先打印执行的命令,然后执行

  $cat 1.txt | xargs -t
  /bin/echo aaa bbb ccc ddd a b
  aaa bbb ccc ddd a b

• -x
  : 当xargs执行的命令长度大于-s max-char时,停止执行

• -P max-procs
  : 修改线程数,默认为单线程.max-procs为0时,as many processes as possible

---

3. find和xargs

　在使用find命令的-exec选项处理匹配到的文件时，find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。find命令把匹配到的文件 传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一 批，并如此继续下去。
　在有些系统中，使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在有些情况下就会出现进程过多，系统性能下降的问题，因而效率不高；而使用xargs命令则只有一个进程。另外，在使用xargs命令时，究竟是一次获取所有的参数，还是分批取得参数，以及每一次获取参数的数目 都会根据该命令的选项及系统内核中相应的可调参数来确定。
　管道是把一个命令的输出传递给另一个命令作为输入，比如：command1 | command2但是command2仅仅把command1输出的内容作为输入参数。find . -name "install.log" -print打印出的是install.log这个字符串，如果仅仅使用管道，那么command2能够使用的仅仅是install.log这个字符串，不能把它当作文件来进行处理。
　当然这个command2除了xargs。xargs就是为了能够对find搜索到的文件进行操作而编写的。它能把管道传来的字符串当作文件交给其后的命令执行。

4 Example

$find . -name "1.txt"  | cat
./1.txt
#显示从管道传来的内容，仅仅作为字符串来处理

$find . -name "1.txt" | xargs cat
aaa bbb ccc ddd
a b
#将管道传来的内容作为文件，交给cat执行。也就是说，该命令执行的是如果存在1.txt，那么就打印出这个文件的内容。

$find . -perm -7 -print | xargs chmod o-w
#在当前目录下查找所有用户具有读、写和执行权限的文件，并收回相应的写权限

$ find . -type f -print | xargs file
#查找系统中的每一个普通文件，然后使用xargs命令来测试它们分别属于哪类文件

$find ~ -name ‘*.log‘ -print0 | xargs -i -0 rm -f {}
#尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/rm Argument list too long. 用xargs 去避免这个问题

$find / -name *.jpg -type f -print | xargs tar -cvzf images.tar.gz
#查找所有的jpg 文件，并且压缩它

$ls *.jpg | xargs -n 1 -i cp {} /external-hard-drive/directory
#拷贝所有的图片文件到一个外部的硬盘驱动