for循环内线程池并发执行任务，等到子线程全部处理完任务，主线程在执行java的实现方式

Posted 2023-04-05 笔墨新城

for循环内线程池并发执行任务，等到子线程全部处理完任务，主线程在执行

方式一 使用 CountDownLatch

在 Java 中，您可以使用 CountDownLatch 来实现主线程等待子线程执行完成的功能。CountDownLatch 是一个同步工具类，它允许一个或多个线程等待其他线程完成操作后再继续执行。

具体来说，您可以在每个子线程中创建一个 CountDownLatch 对象，并将计数器初始化为 1。当子线程处理完任务后，调用 CountDownLatch.countDown() 方法，将计数器减 1。在主线程中，调用 CountDownLatch.await() 方法阻塞等待所有子线程的任务执行完毕，直到计数器减为 0 才继续执行后续代码。

以下是一个简单的示例代码：

ExecutorService executor = Executors.newFixedThreadPool(5); // 创建拥有 5 个线程的线程池

CountDownLatch latch = new CountDownLatch(5); // 创建计数器，初始值为 5

for (int i = 0; i < 5; i++) 
    executor.submit(() -> 
        // 子线程处理任务
        doTask();

        latch.countDown(); // 计数器减 1
    );


try 
    latch.await(); // 等待所有子线程的任务执行完毕
 catch (InterruptedException e) 
    // 处理中断异常


// 所有子线程的任务都已经执行完毕，执行主线程的代码
doSomethingElse();

请注意，在实际应用中，您还需要考虑线程安全、并发访问等问题，并在代码中正确处理异常。例如，在子线程处理任务时，可能需要使用锁或其他同步机制来保护共享资源的访问；在主线程等待子线程执行完毕时，可能需要处理 InterruptedException 异常等异常情况。

方式二 使用 ExecutorService 的 invokeAll() 方法

如果您不想使用 CountDownLatch，还有其他方法可以实现主线程等待子线程任务执行完毕的功能。以下是一些常见的方式：

使用 ExecutorService 的 invokeAll() 方法
ExecutorService 中的 invokeAll() 方法可以提交多个 Callable 或 Runnable 任务，并阻塞等待所有任务完成。该方法返回一个 Future 对象列表，可以通过遍历列表获取各个子线程处理任务后的结果。

以下是一个使用 invokeAll() 方法的示例代码

ExecutorService executor = Executors.newFixedThreadPool(5); // 创建拥有 5 个线程的线程池

List<Callable<Void>> tasks = new ArrayList<>();
for (int i = 0; i < 5; i++) 
    tasks.add(() -> 
        // 子线程处理任务
        doTask();
        return null;
    );


executor.invokeAll(tasks); // 等待所有子线程的任务执行完毕

// 所有子线程的任务都已经执行完毕，执行主线程的代码
doSomethingElse();

方式三 使用 CompletableFuture 的 allOf() 方法

Java 8 中引入了 CompletableFuture 类，它提供了一系列基于回调函数的异步编程方法，可以方便地实现多线程任务的并发执行和结果组合。其中，allOf() 方法可以用于等待所有 CompletableFuture 对象的计算结果。

以下是一个使用 CompletableFuture 的 allOf() 方法的示例代码：

ExecutorService executor = Executors.newFixedThreadPool(5); // 创建拥有 5 个线程的线程池

List<CompletableFuture<Void>> futures = new ArrayList<>();
for (int i = 0; i < 5; i++) 
    CompletableFuture<Void> future = CompletableFuture.runAsync(() -> 
        // 子线程处理任务
        doTask();
    , executor);
    futures.add(future);


CompletableFuture.allOf(futures.toArray(new CompletableFuture[0])).join(); // 等待所有子线程的任务执行完毕

// 所有子线程的任务都已经执行完毕，执行主线程的代码
doSomethingElse();

请注意，在使用以上方法时，仍然需要考虑线程安全、并发访问等问题，并在代码中正确处理异常。

方式四

ThreadPoolExecutor executor = new ThreadPoolExecutor(
    5, // corePoolSize
    5, // maximumPoolSize
    0L, TimeUnit.MILLISECONDS, // keepAliveTime, unit
    new LinkedBlockingQueue<Runnable>()); // workQueue

AtomicInteger count = new AtomicInteger(5); // 计数器，初始值为 5

for (int i = 0; i < 5; i++) 
    executor.execute(() -> 
        // 子线程处理任务
        doTask();

        count.decrementAndGet(); // 计数器减 1
    );


while (count.get() > 0) 
    Thread.sleep(100); // 等待一段时间，避免空转浪费 CPU 资源


// 所有子线程的任务都已经执行完毕，执行主线程的代码
doSomethingElse();

在上述代码中，我们创建了一个 ThreadPoolExecutor 对象，然后通过 AtomicInteger 实现了一个计数器，初始值为 5。在每个子线程执行完任务后，计数器的值减 1。在主线程中使用 while 循环检查计数器是否为 0，如果未达到目标，则阻塞等待一段时间，避免空转浪费 CPU 资源。当计数器减为 0 时，所有子线程的任务都已经执行完毕，主线程可以执行后续代码。

请注意，在使用自定义线程池时，需要考虑线程安全、并发访问等问题，并在代码中正确处理异常。例如，在子线程处理任务时，可能需要使用锁或其他同步机制来保护共享资源的访问；在主线程等待子线程执行完毕时，可能需要处理 InterruptedException 异常等异常情况。

线程池浅析

线程池优势

线程池主要是控制运行的线程数量，处理过程中将任务放入队列，然后再线程创建后启动这些任务，如果线程数量超过最大数量，超出数量的线程排队等候，等待其他线程执行完毕，再从队列中取出来执行。

优势: 线程复用，控制最大并发数，管理线程。

1. 降低资源消耗。通过服用利用已创建的线程降低线程创建和销毁造成的消耗。
2. 提高响应速度。当任务到达时，任务可以不需要等到线程创建就能立即执行。
3. 提高线程的客观理性。线程是稀缺资源，如果无限制创建，不仅回消耗系统资源，还会降低系统稳定性，使用线程池可以进行统一分配，调优和监控。

线程池实现

Java中线程池是通过Executor框架实现的，该框架中用到了Executor，Executors，ExecutorService，ThreadPoolExecutor这几个类。

实现方式

Executors.newFixedThreadPool(int nThreads)

1. 创建一个定长线程池，可控制线程最大并发数，超出的线程会在队列中等待。
2. newFixedThreadPool创建的线程池corePoolSize和maximumPoolSize值是相等的，它使用的是LinkedBlockingQueue。

适用场景

执行长期的任务，性能好很多。

Executors.newSingleThreadExecutor()

1. 创建一个单线程化的线程池，它只会用唯一的工作线程来执行任务，保证所有任务按照指定顺序执行。
2. newSingleThreadExecutor创建的线程池corePoolSize和maximumPoolSize值设置为1，它使用的是LinkedBlockingQueue。

适用场景

任务顺序执行的场景。

Executors.newCachedThreadPool()

1. 创建一个可缓存线程池，如果线程池长度超过处理需求，可灵活回收空闲线程，若无可回收，则新建线程。
2. newCachedThreadPool创建的线程池corePoolSize设置为0，将maximumPoolSize设置为Integer.MAX_VALUE，它使用的是SynchronousQueue，也就是说，有任务就创建线程运行，当线程空闲超过60秒，就销毁线程。

适用场景

执行很多短期异步的小程序或者负载较轻的服务器。

线程池不允许使用Executors去创建，而是通过ThreadPoolExecutor的方式，这样创建方式可有效规避资源耗尽的风险。

说明：Executors创建线程池对象的弊端如下：

1. FixedThreadPool和SingleThreadPool：允许的请求队列长度为Integer.MAX_VALUE，可能会堆积大量的请求，从而导致OOM。
2. CachedThreadPool和ScheduledThreadPool：允许创建线程数量为Integer.MAX_VALUE，可能会创建大量的线程，从而导致OOM。

线程池7参介绍

corePoolSize

线程池中的常驻核心线程数。

创建线程池后，当有请求任务之后，会安排线程池中的线程去执行请求任务，近似理解为当值线程。

当线程池中的线程数目达到corePoolSize后，就会把到达的任务放到队列当中。

maximumPoolSize

线程池能容纳同时执行的最大线程数，此值必须大于等于1。

keepAliveTime

多余的空闲线程存活时间。当前线程池数量超过corePoolSize时，当空闲时间达到keepAliveTime值时，多余空闲线程会被销毁，直到只剩下corePoolSize个线程为止。

unit

keepAliveTime的单位。

workQueue

任务队列，存放被提交但尚未被执行的任务。

threadFactory

生成线程池中工作线程的线程工厂，用于创建线程，一般用默认的即可。

defaultHandler

拒绝策略，表示当队列已经存满，并且工作线程大于等于线程池的最大线程数(maximumPoolSize)时，如何来拒绝请求执行的runnable的策略。

案例对比

线程池<=>银行网点

corePoolSize<=>今日当值窗口

maximumPoolSize<=>银行网点业务办理窗口的最大数

workQueue<=>网点候客区

threadFactory<=>银行网点的管理人员，负责窗口调度窗口办理业务人员的管理员

keepAliveTime<=>银行网点所有窗口都在办理业务，但是已无客流量，工作不饱和状态的时间

unit<=>工作不饱和状态的时间单位

defaultHandler<=>银行网点满负荷状态(业务办理窗口满负荷，候客区满负荷)下，采取的应急策略

线程池底层工作原理

执行流程

1. 在创建线程池后，等待提交的任务请求。

2. 当调用execute()方法添加一个请求任务时，线程池会做如下判断：

   2.1 如果正在运行的线程数量小于corePoolSize，那么马上创建线程运行这个任务。

   2.2 如果正在运行的线程数量大于或等于corePoolSize，那么将这个任务放入队列。

   2.3 如果这时候队列已经满载且正在运行的线程数量小于maximumPoolSize，那么还是要创建非核心线程立即运行这个任务。

   2.4 如果队列已经满载且正在运行的线程数量大于或等于maximumPoolSize，那么线程池会启动饱和拒绝策略来执行。

3. 当一个线程完成任务时，它会从队列中取下一个任务来执行。

4. 当一个线程无事可做超过一定的时间(keepAliveTime)时，线程池会判断：

   如果当前运行的线程数量大于corePoolSize，那么这个线程就会被停掉。所以线程池的所有任务完成后他最终会收缩到corePoolSize的大小。

线程池的拒绝策略

等待队列已经满负荷，同时线程池中的maximumPoolSize也达到顶峰，这个时候需要拒绝策略机制合理的处理这个问题。Jdk内置的拒绝策略均实现了RejectedExecutionHandler接口。

AbortPolicy(默认)

直接抛出RejectedExecutionException异常阻止系统正常运行。

CallerRunsPolicy

调用者运行一种调节机制，该策略既不会抛弃任务，也不会抛出异常，而是将某些任务回退到调用者，从而降低新的任务流量。

DiscardPolicy

直接丢弃任务，不予任何处理也不抛出异常。如果允许任务丢失，这是最好的解决方案。

DiscardOldestPolicy

抛弃队列中等待最久的任务，然后把当前任务假如队列中尝试再次提交当前任务。

自定义线程池

new ThreadPoolExecutor(2, 5,
                1L, TimeUnit.SECONDS,
                new LinkedBlockingQueue<Runnable>(4),
                Executors.defaultThreadFactory(),
                new ThreadPoolExecutor.AbortPolicy());

合理分配线程池

一般根据任务类型进行区分，CPU密集型、IO密集型。假设CPU为n核。

CPU密集型

任务需要大量的运算，而且没有阻塞，CPU一直全速运行。此时需要减少线程数量, 降低线程之间切换造成的开销。

参考公式: CPU核数 + 1

例8核CPU：8 + 1 = 9

IO密集型

任务需要大量的IO，即大量的阻塞。在单线程上运行IO密集型的任务会导致浪费大量的CPU运算能力在等待中。所以在IO密集型任务中使用多线程可以大大的加速程序运行，即使在单核CPU上，这种加速主要就时利用被浪费掉的阻塞时间。

参考公式1：CPU核数/1-阻塞系数(阻塞系数在0.8~0.9之间)

例8核CPU：8/(1-0.9) = 80

参考公式2: CPU核数 * 2

例8核CPU：8 * 2 = 16