Java面试高频技术线程池,源码笔记答案全纪录

Posted 黑马程序员官方

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Java面试高频技术线程池,源码笔记答案全纪录相关的知识,希望对你有一定的参考价值。

课程的目标及受众

公开课受众:

有一定的java基础 (线程) ,尤其是正要或正准备找工作的童鞋

如果想在众多面试者中脱颖而出,你就需要多准备一些知识点,多刷一些面试题。 而对于企业而言,有这么多的选择 那我们就提高面试门槛,可能我需要的仅仅是CRUD的初中级,但我也希望你能了解 JVM、多线程、Spring源码、Sql优化、分布式架构等等,也是我们经常说的 面试造火箭 ,工作拧螺丝

公开课内容:

  • 为什么要使用多线程
  • 线程的生命周期
  • 为什么要使用线程池
  • 线程池的工作原理
  • 线程池的核心参数解读
  • 线程池的源码分析
  • 线程池的实战使用

为什么要使用多线程

进程与线程

进程:

是执行中一段程序,即一旦程序被载入到内存中并准备执行,它就是一个进程。进程是表示资源分配的的基本概念,又是调度运行的基本单位,是系统中的并发执行的单位。

线程:

单个进程中执行中每个任务就是一个线程。线程是进程中执行运算的最小单位。

一个线程只能属于一个进程,但是一个进程可以拥有多个线程。

多线程处理就是允许一个进程中在同一时刻执行多个任务。

线程是一种轻量级的进程,与进程相比,线程给操作系统带来侧创建、维护、和管理的负担要轻,意味着线程的代价或开销比较小

实现程序异步处理

使用线程可以把占据时间长的程序中的任务放到后台去处理,程序的运行速度可能加快,在一些等待的任务实现上如用户输入、文件读写和网络收发数据等,线程就比较有用了。在这种情况下可以释放一些珍贵的资源如内存占用等等。

在web开发中, 经常会有一些操作 需要触发另一个操作, 而对触发操作的结果却不关心 。 如: 记录日志、计算、发通知如果使用同步的方式处理 性能低下 且 该操作报错会影响本身的方法

可以启动一个新线程,异步处理

利用CPU多核优势并行处理任务

如: 在定时任务中,数据批处理中,文件分片处理中

为什么要使用线程池

多线程的情况下确实可以最大限度发挥多核处理器的计算能力,提高系统的吞吐量和性能。但是如果随意使用线程,对系统的性能反而有不利影响。

线程生命周期

线程的创建 和 销毁都需要消耗系统资源

线程调度机制

CPU性能有限,当产生大量线程时,需要频繁根据时间片切换线程,而切换线程也会浪费大量系统性能

最终的结果,通过多线程不但没提升效率,反而让程序的效率变低。 甚至会因为大量线程的创建,造成系统内存不足而产生OOM

线程数量选择

过小会导致程序不能充分地利用系统资源、容易导致饥饿

过大会导致更多的线程上下文切换,占用更多内存

CPU 密集型运算

通常采用 cpu 核数 + 1 能够实现最优的 CPU 利用率,+1 是保证当线程由于页缺失故障(操作系统)或其它原因

导致暂停时,额外的这个线程就能顶上去,保证 CPU 时钟周期不被浪费

I/O 密集型运算

CPU 不总是处于繁忙状态,例如,当你执行业务计算时,这时候会使用 CPU 资源,但当你执行 I/O 操作时、远程

RPC 调用时,包括进行数据库操作时,这时候 CPU 就闲下来了,你可以利用多线程提高它的利用率。

经验公式如下

线程数 = 核数 * 期望 CPU 利用率 * 总时间(CPU计算时间+等待时间) / CPU 计算时间

例如 4 核 CPU 计算时间是 50% ,其它等待时间是 50%,期望 cpu 被 100% 利用,套用公式
4 * 100% * 100% / 50% = 8

例如 4 核 CPU 计算时间是 10% ,其它等待时间是 90%,期望 cpu 被 100% 利用,套用公式
4 * 100% * 100% / 10% = 40

线程池介绍

线程池是java在jdk1.5开始提供的一套框架,是为突然大量爆发的线程设计的,可以通过有限的几个固定线程为大量的操作服务减少了创建和销毁线程所需的时间,从而提高效率

Java中的线程池是运用场景最多的并发框架,几乎所有需要异步或并发执行任务的程序都可以使用线程池。

在开发过程中,合理地使用线程池能够带来3个好处。

第一:降低资源消耗。通过重复利用已创建的线程降低线程创建和销毁造成的消耗。

第二:提高响应速度。当任务到达时,任务可以不需要等到线程创建就能立即执行。

第三:提高线程的可管理性。线程是稀缺资源,如果无限制地创建,不仅会消耗系统资源,
还会降低系统的稳定性,使用线程池可以进行统一分配、调优和监控。

线程池API类图

关键类或接口含义
Executor是一个接口,它是Executor框架的基础,
它将任务的提交与任务的执行分离开来
ExecutorService线程池的主要接口,是Executor的子接口
ThreadPoolExecutor是线程池的核心实现类,用来执行被提交的任务
ScheduledThreadPoolExecutor另一个关键实现类,可以进行延迟或者定期执行任务。ScheduledThreadPoolExecutor比Timer定时器更灵活,
功能更强大
Future接口与FutureTask实现类代表异步计算的结果
Runnable接口和Callable接口的实现类都可以被ThreadPoolExecutor或
ScheduledThreadPoolExecutor执行的任务
Executors线程池的工具类,可以快捷的创建线程池

但是,要做到合理利用线程池,必须对其实现原理了如指掌。

线程池的工作原理

任务的执行流程

提交一个任务到线程池中,线程池的处理流程如下:

流程1 判断核心线程数
判断正在运行的工作线程是否小于 设置的核心线程数,小于尝试创建一个
新的工作线程,如果不小于进入下一流程

流程2 判断任务队列
判断当前线程池的任务队列是否已满,未满的话将任务加入任务队列,如果满了,进入下一个流程

流程3 判断最大线程数
判断当前线程池的工作线程是否小于 设置的最大线程数,小于尝试创建一个新的临时工作线程,如果不小于进入下一流程


流程4 判断 饱和/拒绝 策略			
到此流程,说明当前线程池已经饱和,需要进行拒绝策略,根据设置的拒绝策略进行处理

线程池中线程的复用

在线程池中,线程被创建后执行完任务后  不会立刻销毁

而是线程的任务本身就是一个while循环  通过getTask()方法  从workQueue 任务队列中调用要执行的任务, 

获取到任务后, 会执行任务的run方法, 这样实现了任务的复用

线程池中线程的销毁

线程池中线程停止有下面几种情况:
1. 线程池中核心线程默认永远不会销毁 (可以通过allowCoreThreadTimeOut设置允许超时),
   而临时线程  如果空闲时间达到 keepAlivedTime + TimeUnit的值后 会被销毁

2. 如果调用线程池的 shutDown方法, 线程池会在workQueue中的任务执行完毕后 销毁所有线程,关闭线程池

3. 如果调用线程池的 shutDownNow方法, 线程池会立刻终止 , workQueue中的未完成任务 会作为返回值返回

线程池的饱和策略

如果线程池 中工作线程数量已经达到最大线程,并且任务队列已满,说明线程池已经达到饱和状态

会执行参数中传入的拒绝策略 (实现 RejectedExecutionHandler接口 )

ThreadPoolExecutor中 内置了4种拒绝策略:
	
	CallerRunsPolicy: 不丢弃任务,让线程池的调用者线程 参与执行任务
	 
	AbortPolicy: 丢弃后续的任务,并抛出异常
	
	DiscardOldestPolicy: 丢弃任务队列中 存放最久的任务,不抛异常
	
	DiscardPolicy: 丢弃后续任务,不抛异常

线程池的核心参数

Executor框架的最核心实现是ThreadPoolExecutor类,通过传入不同的参数,就可以构造出适用于不同应用场景下的线程池,那么它的底层原理是怎样实现的呢,下面就来介绍下ThreadPoolExecutor线程池的运行过程。

核心构造器参数

组件含义
int corePoolSize核心线程池的大小
int maximumPoolSize最大线程池的大小
BlockingQueue workQueue用来暂时保存任务的工作队列
RejectedExecutionHandler当ThreadPoolExecutor已经关闭或ThreadPoolExecutor已经饱和时(达到了最大线程池的大小且工作队列已满),execute()方法将要调用的Handler
long keepAliveTime,表示空闲线程的存活时间。
TimeUnit表示keepAliveTime的单位。
ThreadFactory threadFactory指定创建线程的线程工厂

线程池的三种队列

1.SynchronousQueue

SynchronousQueue没有容量,是无缓冲等待队列,是一个不存储元素的阻塞队列,会直接将任务交给消费者,必须等队列中的添加元素被消费后才能继续添加新的元素。
使用SynchronousQueue阻塞队列一般要求maximumPoolSizes为无界,避免线程拒绝执行操作。

2.LinkedBlockingQueue

LinkedBlockingQueue是一个无界缓存等待队列。当前执行的线程数量达到corePoolSize的数量时,剩余的元素会在阻塞队列里等待。(所以在使用此阻塞队列时maximumPoolSizes就相当于无效了),每个线程完全独立于其他线程。生产者和消费者使用独立的锁来控制数据的同步,即在高并发的情况下可以并行操作队列中的数据。

3.ArrayBlockingQueue

ArrayBlockingQueue是一个有界缓存等待队列,可以指定缓存队列的大小,当正在执行的线程数等于corePoolSize时,多余的元素缓存在ArrayBlockingQueue队列中等待有空闲的线程时继续执行,当ArrayBlockingQueue已满时,加入ArrayBlockingQueue失败,会开启新的线程去执行,当线程数已经达到最大的maximumPoolSizes时,再有新的元素尝试加入ArrayBlockingQueue时会报错。

线程池工具类

Executors是线程池的工具类,提供了四种快捷创建线程池的方法:


newCachedThreadPool
创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲线程,若无可回收,则新建线程。
newFixedThreadPool 
创建一个定长线程池,可控制线程最大并发数,超出的线程会在队列中等待。
newSingleThreadExecutor 
创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行。
newScheduledThreadPool 创建一个定长线程池,支持定时及周期性任务执行。

newCachedThreadPool

/**
     * 创建一个可缓存线程池,如果线程池长度超过处理需要,可灵活回收空闲线程,若无可回收,则新建线程。
     */
    public void fun1()
        // 创建线程池
        ExecutorService es = Executors.newCachedThreadPool();
        // 会创建出10个线程   分别执行任务
        for (int i = 0; i < 10; i++) 
            es.execute(()->
                for (int j = 0; j < 10; j++) 
                    try 
                        Thread.sleep(100);
                     catch (InterruptedException e) 
                        e.printStackTrace();
                    
                    System.out.println(Thread.currentThread().getName() + ":" + j);
                
            );
        
        es.shutdown();
    

newFixedThreadPool

/**
     * 创建一个定长线程池,可控制线程最大并发数,超出的线程会在队列中等待。
     */
    public void fun2()
        // 创建线程池
        ExecutorService es = Executors.newFixedThreadPool(2);
        // 会创建出10个线程   分别执行任务
        for (int i = 0; i < 10; i++) 
            es.execute(()->
                try 
                    Thread.sleep(400);
                 catch (InterruptedException e) 
                    e.printStackTrace();
                
                for (int j = 0; j < 10; j++) 
                    System.out.println(Thread.currentThread().getName() + ":" + j);
                
            );
        
        es.shutdown();
    

newSingleThreadExecutor

/**
     * 创建一个单线程化的线程池,它只会用唯一的工作线程来执行任务,保证所有任务按照指定顺序(FIFO, LIFO, 优先级)执行
     */ 
public void fun3()
        // 创建线程池
        ExecutorService es = Executors.newSingleThreadExecutor();
        // 会创建出10个线程   分别执行任务
        for (int i = 0; i < 10; i++) 
            es.execute(()->
                try 
                    Thread.sleep(400);
                 catch (InterruptedException e) 
                    e.printStackTrace();
                
                for (int j = 0; j < 10; j++) 
                    System.out.println(Thread.currentThread().getName() + ":" + j);
                
            );
        
        es.shutdown();
    

newScheduledThreadPool

/**
     * 创建一个定长线程池,支持延迟及周期性任务执行。延迟执行示例代码如下
     */
    public void fun4()
        ScheduledExecutorService newScheduledThreadPool = Executors.newScheduledThreadPool(5);
        // 周期性执行任务(任务会执行多次)
        // 参数1:任务   参数2:延迟时间   参数3:每隔长时间   参数4:时间单位
        newScheduledThreadPool.scheduleAtFixedRate(()-> System.out.println("要执行的任务"), 3, 2, TimeUnit.SECONDS);
        // 延迟执行任务(任务执行一次)
        // 参数1:任务   参数2:延迟时间   参数3:时间单位
        newScheduledThreadPool.schedule(()->System.out.println("要执行的任务"), 3,TimeUnit.SECONDS);
    
注意:
scheduleAtFixedRate ,是以上一个任务开始的时间计时,period时间过去后,检测上一个任务是否执行完毕,如果上一个任务执行完毕,则当前任务立即执行,如果上一个任务没有执行完毕,则需要等上一个任务执行完毕后立即执行。

scheduleWithFixedDelay,是以上一个任务结束时开始计时,period时间过去后,立即执行。

线程池源码解析

ThreadPoolExecutor源码分析

在线程池的实现中,Worker这个类是线程池的内部类,Worker对象是线程池实现的核心。在ThreadPoolExecutor中存放了一个

// 工作线程的集合
HashSet<Worker> workers = new HashSet<Worker>();

点进Worker类的源码中 发现Worker实现了Runnable接口,并且有两个属性一个线程对象,还有一个第一次要执行的任务

private final class Worker
        extends AbstractQueuedSynchronizer
        implements Runnable


		// 执行工作的线程对象
        final Thread thread;
		// Worker要执行的第一个任务
        Runnable firstTask;

查看Worker的构造方法

Worker(Runnable firstTask) 
            setState(-1); 
    		// 传入worker第一次要执行的任务
            this.firstTask = firstTask;
    		// 使用工厂对象创建线程, 并把worker本身传入
            this.thread = getThreadFactory().newThread(this);

查看线程工厂对象的newThread类方法

public Thread newThread(Runnable r) 
    // new 了一个新的线程对象  并且把worker对象作为线程任务传入
            Thread t = new Thread(group, r,
                                  namePrefix + threadNumber.getAndIncrement(),
                                  0);
            return t;

查看Worker类当中的run方法:

// 线程任务 run方法
public void run() 
   runWorker(this);

// Worker的核心工作方法
final void runWorker(Worker w) 
        Thread wt = Thread.currentThread();
    	// 第一次要执行的任务 赋值给task
        Runnable task = w.firstTask;
       ...
        try 
            while (task != null || (task = getTask()) != null) 
                w.lock();
					... 
                        // 执行任务的run方法
                        task.run();
                    ...
                 finally 
                	// 任务执行完毕后,清空任务判断是否包含下一个任务
                    task = null;
                    w.completedTasks++;
                    w.unlock();
                
            
            completedAbruptly = false;
         finally 
            processWorkerExit(w, completedAbruptly);
        
    

查看getTask方法如何获取任务:

private Runnable getTask() 
        boolean timedOut = false; 
        for (;;) 
            ...
            try 
                Runnable r = timed ?
                   // 下面两种方法都是在从 workQueue队列中获取任务
                    workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                    workQueue.take();
                // 将取到的任务返回
                if (r != null)
                    return r;
                timedOut = true;
             catch (InterruptedException retry) 
                timedOut = false;
            
        
    
小结:
通过上面的源码分析得出,Worker对象是线程池工作的核心,一个Worker对象代表一个工作线程, 只要Worker内的线程的start方法被调用后,我们的worker对象内的run方法被线程执行,而run方法中则不断的从任务队列中获取 任务,并调用任务的run方法来执行,这样就达到了线程复用的目的。  

那么Worker什么时候会被创建呢? 

接着分析线程池的execute执行任务的方法

execute的执行源码

// execute执行方法源码分析
		public void execute(Runnable command) 
			// 任务为空抛异常
			if (command == null)
				throw new NullPointerException();
			// ctl 是 integer原子类  主要通过它记录两类信息,
			// ctl作用: 1.记录线程池状态    2.记录线程池工作线程数量 
			// workerCountOf(c):判断worker数量 
			// isRunning(c): 判断线程池状态
			// 1.如果当前worker数量小于corePoolSize  创建一个新的worker
			int c = ctl.get();
			if (workerCountOf(c) < corePoolSize) 
                // 创建worker 参数1:任务 参数2:添加核心还是临时线程
				if (addWorker(command, true))
					return;
				c = ctl.get();
			
			// 2.尝试向任务队列中添加任务,如果添加失败进入下移流程
			if (isRunning(c) && workQueue.offer(command)) 
				// 添加成功  复查线程池状态
				int recheck = ctl.get();
				if (! isRunning(recheck) && remove(command))
					reject(command);
				else if (workerCountOf(recheck) == 0)
					addWorker(null, false);
			
			// 3.参数2:true => 添加核心工作线程   false => 添加临时工作线程   
			else if (!addWorker(command, false))
				
				// 4. 如果添加失败,执行拒绝策略
				reject(command);
		
总结:通过execute方法的源码,我们就已经看到了执行流程

在查看addWorker的方法,看看是如何添加一个worker的

private boolean addWorker(Runnable firstTask, boolean core) 
        retry:
        for (;;) 
				...
         // wc是工作线程的数量
         // core为true 判断是否大于核心线程数量
         // core为false 判断是否大于最大线程数量
                    wc >= (core ? corePoolSize : maximumPoolSize))
                    return false;
                ...
            
        
		// 准备创建worker
        Worker w = null;
        try 
            // 创建worker对象,构造器内会通过线程工厂创建一个线程  并且把worker对象作为任务传入
            w = new Worker(firstTask);
            final Thread t = w.thread;
            if (t != null) 
                final ReentrantLock mainLock = this.mainLock;
                mainLock.lock();
                try 
                   ...
                   // 将worker对象 存入到workers集合
                   workers.add(w);
                   int s = workers.size();
                   if (s > largestPoolSize)
                      largestPoolSize = s;
                      workerAdded = true;
                
                 finally 
                    mainLock.unlock();
                
                if (workerAdded) 
                    // 启动worker内的线程
                    t.start();
                    workerStarted = true;
                
            
         finally 
            if (! workerStarted)
                addWorkerFailed(w);
        
        return workerStarted;
    
小结:
可以看到,在execute方法中完全和我们前面将的流程一样,在addWorker方法中通过构造器创建了worker对象  并把它存入到了workers集合中,然后启动worker内线程的start方法,这样这个worker就会不断工作,不断的执行任务队列里面的任务

线程池实战场景

异步处理

在头条项目中, 热点评论的计算 和 搜索历史的记录需要异步执行, 使用spring提供的 @EnableAsync @Async使用线程池

并行请求

在电商项目的商品详情功能,要显示的数据分类非常多,需要从不同的微服务中获取, 如果直接的挨个调用Feign方法查询,使用串行方案效率很低,下面的商品详情是通过定义Callable任务, 在通过线程池异步的执行查询,最终汇总结果

并行处理

某公司每隔一个周期,会生成所有合作供应商的结算单,在定时任务中,查询所有供应商信息,因为每个供应商都需要统计相关数据,采用串行方案效率低,可以使用线程池 ,通过多个线程并行处理任务

:
可以看到,在execute方法中完全和我们前面将的流程一样,在addWorker方法中通过构造器创建了worker对象 并把它存入到了workers集合中,然后启动worker内线程的start方法,这样这个worker就会不断工作,不断的执行任务队列里面的任务


## 线程池实战场景

### 异步处理

在头条项目中,  热点评论的计算  和 搜索历史的记录需要异步执行, 使用spring提供的 @EnableAsync    @Async使用线程池



### 并行请求

在电商项目的商品详情功能,要显示的数据分类非常多,需要从不同的微服务中获取,  如果直接的挨个调用Feign方法查询,使用串行方案效率很低,下面的商品详情是通过定义**Callable**任务, 在通过**线程池**异步的执行查询,最终汇总结果




### 并行处理



某公司每隔一个周期,会生成所有合作供应商的结算单,在定时任务中,查询所有供应商信息,因为每个供应商都需要统计相关数据,采用串行方案效率低,可以使用线程池 ,通过多个线程并行处理任务



以上是关于Java面试高频技术线程池,源码笔记答案全纪录的主要内容,如果未能解决你的问题,请参考以下文章

并发编程高频面试题:可重入锁+线程池+内存模型等(含答案)

中高级Java开发应该要了解!java线程池的使用

Java核心面试宝典Day14“线程池”高频面试题总结!✊✊✊

Java核心面试宝典Day14“线程池”高频面试题总结!✊✊✊

2021年秋招Java研发岗的面试高频考点

2021年秋招Java研发岗的面试高频考点