Tomcat JDBC Pool 源码实现简单分析

Posted 2022-05-24 sp42a

什么是连接池？

池，不由自主的会想到水池。小时候，我们都要去远处的水井挑水，倒进家中的水池里面。这样，每次要用水时，直接从水池中「取」就行了。不用大老远跑去水井打水。数据库连接池就如此，我们预先准备好一些连接，放到池中。当需要时，就直接获取。而不要每次跟数据库建立一个新的连接。特别对数据库连接这类耗时，耗资源的操作。当连接用完后，再放回池中，供后续使用。

连接池的作用？

避免多次去创建资源。例如，创建新的数据库连接，500ms 轻轻松松就消耗了。建立 TCP 连接，数据库账号验证等等。这性能消耗起来，可是非常大的。在稍大的系统内，连接池是必备的。同时，对技术人员要求，对连接池的掌握也是必须的。

tomcat-jdbc-pool 的特色

基于 jdk1.5 后的并发实现。代码简洁，精练。核心的类就2，3个。对池的控制就在 org.apache.tomcat.jdbc.pool.ConnectionPool 中搞定。

先前有简单看过 dbcp1.x, c3p0 等等，代码量真不少，逻辑复杂。想熟悉池的设计，可以仔细读读 tomcat-jdbc-pool，非常快速的入手。在 dbcp2 的实现时，跟 tomcat-jdbc-pool 思路一致（完全 copy 的版本）。对于连接池来说，最基本的特点就是：

• 有一定的容量，及已经创建好的对象
• 有「借」有「还」操作的接口

池中「借出」连接是怎么个过程？

在 jdbc-pool 设计有 2 队列，分别为 busy 和 idle，存储「正在使用」和「空闲」的连接。都采用 ArrayBlockingQueue 以保证线程安全。

• 当有请求「借」的动作过来时，从 idle 中 poll 一个连接，然后将该连接再 offer 至 busy 队列中。这是最基本最纯净的思路。
• 当 idle 连接不够时，内部会再去创建新的连接返回给客户端。

但是，做为「池」必须的职责之一是控制总量，不会任你去增长。那么，有意思来了，他是怎么控制总量的咧？ 我们可以通俗点称『占坑法』（tomcat 中也有不少场景采用这方式）。

首先池中有维护连接数总量「计数器」（采用 AtomicInteger 保证线程安全，每次新增或销毁都会变更）。『占坑法』就在每次要新创建连接池，先总量计数器+1（占位），再比较是否达到配置的池的最大连接数。如果没有达到，则创建新的；如果已达到了，则等待现有连接释放，再取走。有点类似，大学时先用本书去抢位置占着。大致实现代码【已经对源码简化】如下：

public class ConnectionPool 
    // 连接数的总量
    private AtomicInteger size = new AtomicInteger(0);

    // 所有正在使用中的连接
    private BlockingQueue<PooledConnection> busy;

    // 所有空闲的连接
    private BlockingQueue<PooledConnection> idle;
        PooledConnection con = idle.poll();//

        while (true) 
            if (con != null) // 如果从空闲连接队列中取出的连接不为空
                 // 把这个连接加入正在使用中的连接列表，***并返回
                 busy.offer(con);// 这简化了，在源码中这儿会对连接进行校验、检查或进行连接。
                 return con;
            
            // 下面判断空闲连接队列中取出的连接为空的情况
            // 没有超出连接总数
            if (size.get() < getPoolProperties().getMaxActive()) 

                // 占坑神技 
                if (size.addAndGet(1) > getPoolProperties().getMaxActive()) // 超出连接总数
                    // 既然没了，那数量也减回去
                    // 再去等待其他连接归还回来
                    size.decrementAndGet();
                 else 
                    //新建一个物理连接
                    return createConnection(now, con, username, password);
                
            

            // 等待一定时间 timetowait 后，再次从空闲连接队列中取出的连接，循环执行上面过程
            con = idle.poll(timetowait, TimeUnit.MILLISECONDS);
        
    

用完后「归还」连接是怎么个过程？

大致思路跟「借」操作相反落。当然是无视那些「善后」的工作，只关注资源的管理。但是，做为连接池必须的职责之一，并不真实的断开与数据库的连接。而只是放至 idle 队列中，供客户端下次再使用。如果有需要或必要肯定会释放，技巧所在。大致代码如下：

protected void returnConnection(PooledConnection con) 
    if (con != null) 
        try 
            con.lock();

            if (busy.remove(con)) 
                // 跟允许的最大空闲数比较
                if(idle.size() < poolProperties.getMaxIdle()) 
                    idle.offer(con);
                    // 源码中调用 release
                    // 会根据配置项执行一些校验，例如：testOnReturn 为 true，则在回收时检查连接是否正常
                    //release(con); 
                
         catch(Exception e) 
           //.... 
         finally 
            con.unlock();
        
     //end if

当长时间运行后，怎么回收无效的连接？

这是连接池必备的功能之一，类似检查死链或者释放自身过多的资源。比如，在高并发过后，对资源消耗量少时，就释放些不再使用的数据库连接（真实断开），维护合理的空格数量。【*** 连接池的minIdle定义了这个数量】

看到这应用场景就自然想到，通过后台线程定时扫描。——对的，就是这样子。」——同样在 ConnectionPool 这个类文件中的 PoolCleaner 类。写在同个类文件中，便于用 this 进行传递数据。不用再去构造个复杂的 ConnectionPool 对象。

直接上代码，「好代码」就是最好的描述。

public class ConnectionPool 

    /**
     * Initialize the connection pool - called from the constructor
     */
    protected void init(PoolConfiguration properties) throws SQLException 
        initializePoolCleaner(properties);
    

    public void initializePoolCleaner(PoolConfiguration properties)         
        if (properties.isPoolSweeperEnabled()) 
            poolCleaner = new PoolCleaner(this, properties.getTimeBetweenEvictionRunsMillis());
            poolCleaner.start(); //只注册一个清理器，并未启动线程。
         //end if
    

    /**
    * 检查所有的空闲连接
    */
    public void checkIdle(boolean ignoreMinSize) 

        try 
            if (idle.size()==0) return;

            Iterator<PooledConnection> unlocked = idle.iterator();

            //【重点：如果空闲数量大于属性MinIdle，则执行清理！】
            while ( (idle.size()>=getPoolProperties().getMinIdle())) &&unlocked.hasNext()) 
                PooledConnection con = unlocked.next();
                try 
                    con.lock();
                    //如果这时已到busy中，则不检查了
                    if (busy.contains(con)) 
                        continue;
                    

                    release(con);//释放了物理连接
                    idle.remove(con);//从空闲队列中移除

                 finally 
                    con.unlock();
                
             //while
         catch (Exception e) 
            //....
        

    

    private static volatile Timer poolCleanTimer = null;
    private static HashSet<PoolCleaner> cleaners = new HashSet<>();

    //注册一个清理器
    private static synchronized void registerCleaner(PoolCleaner cleaner) 
        unregisterCleaner(cleaner);
        cleaners.add(cleaner);

        //一堆构造方式。。。
        if (poolCleanTimer == null) 
            ClassLoader loader = Thread.currentThread().getContextClassLoader();
            try 
                Thread.currentThread().setContextClassLoader(ConnectionPool.class.getClassLoader());
                poolCleanTimer = new Timer("PoolCleaner["+ System.identityHashCode(ConnectionPool.class.getClassLoader()) + ":"+
                                           System.currentTimeMillis() + "]", true);
            finally 
                Thread.currentThread().setContextClassLoader(loader);
            
        
        //构造定时扫描器
        //java有内库非常强大，想用啥有啥呀
        poolCleanTimer.scheduleAtFixedRate(cleaner, cleaner.sleepTime,cleaner.sleepTime);
    

    //真实的处理线程在这儿。。。
    protected static class PoolCleaner extends TimerTask 
        protected WeakReference<ConnectionPool> pool;

        PoolCleaner(ConnectionPool pool, long sleepTime) 
            //弱引用，不了解的可以google下
            this.pool = new WeakReference<>(pool);
        

        @Override
        public void run() 
            ConnectionPool pool = this.pool.get();
            if (pool == null) 
                stopRunning();
             else if (!pool.isClosed())                 

                if (pool.getPoolProperties().getMinIdle() < pool.idle.size()) 
                    pool.checkIdle(); //【重点，如果空闲数量大于MinIdle，则执行checkIdle】
                
            
        

        public void start() 
            registerCleaner(this); //并未启动线程，只是注册一个清理器
        

        public void stopRunning() 
            unregisterCleaner(this);