002-Shell的并发执行原理及其实现

Posted 2021-02-16

1、正常执行

如果是多个命令执行的话，默认是串行执行的。如果前面的一个任务没有执行完成，后面的任务就无法执行，即不可能将指令置于CPU上执行。

sleep 10

后台执行。Default模式下，shell命令是阻塞执行的，可以通过其后添加&让这条命令异步执行，如：

sleep 10 &

执行这条命令后，并不会阻塞10秒，而是立即返回。

2、并行执行

注意：这里的并行执行如果是单核CPU的话，实际上指的是并发执行。并发执行是具备并行执行的前提因素。

如果将这种方法用在while循环中，则可以实现多进程并行处理。例如一下test1.sh文件为：

#!/bin/bash
while read line
do
{
  command 1
} &
done

command 2

这样的话command 1就可以并行执行了,其实质是将每条command 1命令作为后台进程在执行，这样主进程就不用等待前面的命令执行完毕之后才开始执行接下来的命令。通过执行ls -l | test1.sh可以看到并发的进程数量。

但是这样带来一个问题: 如果在while循环外面的command 2需要用到循环内部执行得到的结果，那么像test1.sh的这种写法就不work了。我们可以对其做简单修改，达到上述目的，如test2.sh：

#!/bin/bash
while read line
do
{
  command 1
} &
done
wait

command 2

上面的代码是将所有的command 1在后台并行执行，等到循环里面的命令都结束之后才执行接下来的command 2。

3、shell脚本的并发控制

有时为了避免并发进程数过多，导致机器卡死，需要限制并发的数量。以下代码实现了该功能：

#!/bin/bash
while read line
do
{
  joblist=($(jobs -p))
  while (( ${#joblist[*]} >= 20 ))
  do
  {
      sleep 1
      joblist=($(jobs -p))
  }
  done
  sleep 10 &
}
done

以上方法通过控制后台任务数来控制并发进程数目在20个以内。

---

参考：https://blog.csdn.net/p656456564545/article/details/80681934