如何在 shell 中实现并行执行

Posted 2022-08-27 琦彦

如何在 shell 中实现并行执行

今天，有个同事问我，他的 shell 中要执行一个迭代200次的循环，因为每一次循环都需要消耗一定的时间，执行起来比较慢，问我可不可以改成并行执行，循环一次执行10个任务，循环20次来完成所有的任务。

什么是并行？并行，是一种常见的任务执行过程模式，指可以同时执行两个或多个程序，与之相对的则是串行。还应该注意，并行不是并发，两者之间是有明显区别的，有些开发者经常搞混。并发是指服务系统支持两个或多个任务同时存在，同时存在并不意味着同时执行，因为服务系统单位时间上只执行一个任务，其它的任务以等待的形式存在。

下面就同事的问题，介绍如何在 shell 中解决并行控制的方法。

串行改为并行

首先，先来看一个串行的例子：

>  for i in `seq 1 10`
do
    sleep 1; echo $i
done

这是一个迭代次数为10的循环，每一个循环都会等待 1 秒，执行总时长约等于 10 秒。sleep 1 会阻塞循环，只有 sleep 1 执行结果，才会进入下一循环，这是典型的串行模式。

shell 提供了一种把命令提交到后台任务队列的机制，即使用 命令 & 将命令控制权交到后台并立即返回执行下个任务。

>  for i in `seq 1 10`
do
    sleep 1 &; echo $i
done

还是这个例子，多了个 & 符，其作用是将命令 sleep 1 提交到后台去执行，而 for 无须等待就可进入下一次循环。所以上面的 for 循环在 1 秒未到的时间内就执行完毕，然后系统会逐个执行 sleep 1 并向终端报告命令执行结束。

并行-等待模式

上面将串行循环改为并行循环的例子，并没考虑这样的情况。

>  for i in `seq 1 10`
do
    sleep 1 &; echo $i
done
echo "all weakup"

这个例子要求在 for 循环中的所有命令（sleep 1）都执行完之后，打印 “all weakup”。如果按照这段脚本，发现情况并不是这样的，因为 for 循环不会等待 sleep 命令执行结束后才结束，而是把命令提交给系统后自己就退出了，进而还没有1个 sleep 执行完毕之前，“all weakup” 就已经打印了。

为了达到题目要求，需要在 echo "all weakup" 命令之前，加上 wait命令，意为等待上面所有 & 作用过的后台任务执行结束后才继续往下。

>  for i in `seq 1 10`
do
    sleep 1 &; echo $i
done
wait
echo "all weakup"

并行度控制

下面列举的方案并不包括所有可能的实现方案。

方案1-控制一次性提交的后台任务数量

上面的示例中，for 循环会将所有命令转为后台执行。显然，如果每个命令需要比较大的开销，并且循环次数太多，这个方法并不可取。那么，要求 for 循环有部分执行或循环达到一定次数后就要 wait，等待前一批次的所提交的任务执行完之后，再提交一定数量命令（再循环一定次数）后再继续 wait。虽然这种方案并不优雅，但至少不会导致一次性向系统提交过多后台任务。

看看下面的例子：

degree=4
for i in `seq 1 10`
do
    sleep 1 & # 提交到后台的任务
    echo $i
    [ `expr $i % $degree` -eq 0 ] && wait
done

上面示例，设置了一个变量 degree，用来表示并行度，在整个循环中控制阻塞的关键就是于语句 [ ``expr $i % $degree`` -eq 0 ] && wait，即在第 n 次循环时，如果 n 恰好对 degree 求模等于0时，那么循环先阻塞，等待前面 n 个后台任务执行完毕后再继续，以此类推。

方案2-利用队列来控制提交的任务数量

并行度控制，原理还不算复杂，但因为 shell 的原生数据结构支持较弱，使用 shell 来实现并行度控制就比较麻烦。

与 c、java、python 等语言实现并行度的原理基本一致，都是设置一个类似线程池或者工作池的数组，

方案3-利用命名管道来做任务队列

大致原理是创建一个 FIFO 命名管道来做为队列，先放进一定量的字符到这个管道做为信号。然后在一个 for 循环中，每循环一次，从管道中读取一个字符信号，提交一个后台任务，并往这个管道中追加一个字符信号，保持管道中的字符信号数量。

是不是很像当 java 中的线程池、golang 中的 chan。没有接触过命名管理、文件描述符等概念的，可能会比较难以理解下面示例中的部分细节。

_fifofile="$$.fifo"
mkfifo $_fifofile     # 创建一个FIFO类型的文件
exec 6<>$_fifofile    # 将文件描述符6写入 FIFO 管道， 这里6也可以是其它数字
rm $_fifofile         # 删也可以，

degree=4  # 定义并行度

#根据并行度设置信号个数
#事实上是在fd6中放置了$degree个回车符
for ((i=0;i<$degree;i++));do
    echo
done >&6

for i in `seq 1 20` # 循环20次
do
    # 从管道中读取（消费掉）一个字符信号
    # 当FD6中没有回车符时，停止，实现并行度控制
    read -u6
    
        sleep 1  # 实际任务的命令
        echo $i
        echo >&6 # 当进程结束以后，再向管道追加一个信号，保持管道中的信号总数量
     &
done

wait # 等待所有任务结束

exec 6>&- # 关闭管道

方案1-控制一次性提交的后台任务数量 是采用分批次提交的思路，

而 方案2 则是利用消费命名管道时read 会出现等待的特性，因为是每执行完一个任务后就追加一个信号，等同释放一个任务执行名额，总是保持任务并行执行数为 degree。

因为采用队列模型，当执行完一个任务，马上就会有另一个任务被启动，在服务系统设计时，这种模式的任务控制是系统资源利用率最高的。

shell 脚本中$$,$#,$?含义

$0 这个程式的执行名字
$n 这个程式的第n个参数值，n=1…9
$* 这个程式的所有参数,此选项参数可超过9个。
$# 这个程式的参数个数
$$ 这个程式的PID(脚本运行的当前进程ID号)
$! 执行上一个背景指令的PID(后台运行的最后一个进程的进程ID号)
$? 执行上一个指令的返回值 (显示最后命令的退出状态。0表示没有错误，其他任何值表明有错误)
$- 显示shell使用的当前选项，与set命令功能相同
@ 跟 @ 跟@跟*类似，但是可以当作数组用

命名管道

命名管道处理的思路：

就相当于此时有10个开水房间，配有10把钥匙，此时有100个人要打开水，那么前10个人抢到钥匙，就先进去打开水，后面的90个人就需要等前面一个人出来后还回钥匙，在拿着钥匙进去打开水，这样就能控制100个人打开水的任务，同时不会将系统的资源一次性耗用太多，增加压力，减小处理速度。

知识点：

1、命名管道的特性

如果管道内容为空，则阻塞
管道具有读一个少一个，存一个读一个的性质，放回去的可以重复取
可以实现队列控制

2、如果管道放一段内容没有人取，则会阻塞

解决上述问题，可以通过文件描述符
文件描述符具有管道的所有特性，同时还具有一个管道不具有的特性：无限存不阻塞，无限取不阻塞，无需关注管道内容

命名管道创建方式

# 1、创建命名管道
mkfifo /tmp/fl
#2、创建文件描述符100，并关联到管道文件
exec 100<>/tmp/fl
#3、调用文件描述符,向管道里存放内容，同时也表示将用完的管道内容在放回管道
echo >&100
#4、读取文件描述符关联管道中的内容
`read -u100``
#5、关闭文件描述符的读和写
exec 100<&-
exec 100>&-

方案4-使用 xargs 命令的控制参数

我是在写本文的时候，才发现原来 xargs 有一个控制并行的参数。

> seq 20 | xargs -I % -P4 sh -c 'echo %; sleep 1s'

关键在于 xargs 的 -P 参数，指一次性接收多少个参数，默认为1。使用 -I % 指定在命令中可以使用 % 符来表示接收到的参数

方案5-使用 parallel 命令行工具

在 gnu linux 的生态中，有一个专门用来处理本文所述并行控制场景的工具，名字叫 parallel。

官方链接

下面还是使用打印序列号的例子来演示如果控制并行：

> seq 20 | parallel -j 4 "echo ; sleep 1"

命令格式与 xargs 类似，使用 -j 来指定并行度；使用 来表示参数。