使用Go实现一个数据库连接池

Posted 2023-05-05

参考技术A 开始本文之前，我们看一段Go连接数据库的代码：

本文内容我们将解释连接池背后是如何工作的，并 探索 如何配置数据库能改变或优化其性能。

转自：https://www.jianshu.com/p/cbfc398bd4d6

整理：地鼠文档：www.topgoer.cn

那么sql.DB连接池是如何工作的呢?

需要理解的最重要一点是，sql.DB池包含两种类型的连接——“正在使用”连接和“空闲”连接。当您使用连接执行数据库任务(例如执行SQL语句或查询行)时，该连接被标记为正在使用，任务完成后，该连接被标记为空闲。

当您使用Go执行数据库操作时，它将首先检查池中是否有可用的空闲连接。如果有可用的连接，那么Go将重用这个现有连接，并在任务期间将其标记为正在使用。如果在您需要空闲连接时池中没有空闲连接，那么Go将创建一个新的连接。

当Go重用池中的空闲连接时，与该连接有关的任何问题都会被优雅地处理。异常连接将在放弃之前自动重试两次，这时Go将从池中删除异常连接并创建一个新的连接来执行该任务。

连接池有四个方法，我们可以使用它们来配置连接池的行为。让我们一个一个地来讨论。

SetMaxOpenConns()方法允许您设置池中“打开”连接(使用中+空闲连接)数量的上限。默认情况下，打开的连接数是无限的。

一般来说，MaxOpenConns设置得越大，可以并发执行的数据库查询就越多，连接池本身成为应用程序中的瓶颈的风险就越低。

但让它无限并不是最好的选择。默认情况下，PostgreSQL最多100个打开连接的硬限制，如果达到这个限制的话，它将导致pq驱动返回”sorry, too many clients already”错误。

为了避免这个错误，将池中打开的连接数量限制在100以下是有意义的，可以为其他需要使用PostgreSQL的应用程序或会话留下足够的空间。

设置MaxOpenConns限制的另一个好处是，它充当一个非常基本的限流器，防止数据库同时被大量任务压垮。

但设定上限有一个重要的警告。如果达到MaxOpenConns限制，并且所有连接都在使用中，那么任何新的数据库任务将被迫等待，直到有连接空闲。在我们的API上下文中，用户的HTTP请求可能在等待空闲连接时无限期地“挂起”。因此，为了缓解这种情况，使用上下文为数据库任务设置超时是很重要的。我们将在书的后面解释如何处理。

SetMaxIdleConns()方法的作用是：设置池中空闲连接数的上限。缺省情况下，最大空闲连接数为2。

理论上，在池中允许更多的空闲连接将增加性能。因为它减少了从头建立新连接发生概率—，因此有助于节省资源。

但要意识到保持空闲连接是有代价的。它占用了本来可以用于应用程序和数据库的内存，而且如果一个连接空闲时间过长，它也可能变得不可用。例如，默认情况下mysql会自动关闭任何8小时未使用的连接。

因此，与使用更小的空闲连接池相比，将MaxIdleConns设置得过高可能会导致更多的连接变得不可用，浪费资源。因此保持适量的空闲连接是必要的。理想情况下，你只希望保持一个连接空闲，可以快速使用。

另一件要指出的事情是MaxIdleConns值应该总是小于或等于MaxOpenConns。Go会强制保证这点，并在必要时自动减少MaxIdleConns值。

SetConnMaxLifetime()方法用于设置ConnMaxLifetime的极限值，表示一个连接保持可用的最长时间。默认连接的存活时间没有限制，永久可用。

如果设置ConnMaxLifetime的值为1小时，意味着所有的连接在创建后，经过一个小时就会被标记为失效连接，标志后就不可复用。但需要注意：

理论上，ConnMaxLifetime为无限大（或设置为很长生命周期）将提升性能，因为这样可以减少新建连接。但是在某些情况下，设置短期存活时间有用。比如：

如果您决定对连接池设置ConnMaxLifetime，那么一定要记住连接过期(然后重新创建)的频率。例如，如果连接池中有100个打开的连接，而ConnMaxLifetime为1分钟，那么您的应用程序平均每秒可以杀死并重新创建多达1.67个连接。您不希望频率太大而最终影响性能吧。

SetConnMaxIdleTime()方法在Go 1.15版本引入对ConnMaxIdleTime进行配置。其效果和ConnMaxLifeTime类似，但这里设置的是：在被标记为失效之前一个连接最长空闲时间。例如，如果我们将ConnMaxIdleTime设置为1小时，那么自上次使用以后在池中空闲了1小时的任何连接都将被标记为过期并被后台清理操作删除。

这个配置非常有用，因为它意味着我们可以对池中空闲连接的数量设置相对较高的限制，但可以通过删除不再真正使用的空闲连接来周期性地释放资源。

所以有很多信息要吸收。这在实践中意味着什么？我们把以上所有的内容总结成一些可行的要点。

1、根据经验，您应该显式地设置MaxOpenConns值。这个值应该低于数据库和操作系统对连接数量的硬性限制，您还可以考虑将其保持在相当低的水平，以充当基本的限流作用。

对于本书中的项目，我们将MaxOpenConns限制为25个连接。我发现这对于小型到中型的web应用程序和API来说是一个合理的初始值，但理想情况下，您应该根据基准测试和压测结果调整这个值。

2、通常，更大的MaxOpenConns和MaxIdleConns值会带来更好的性能。但是，效果是逐渐降低的，而且您应该注意，太多的空闲连接(连接没有被复用)实际上会导致性能下降和不必要的资源消耗。

因为MaxIdleConns应该总是小于或等于MaxOpenConns，所以对于这个项目，我们还将MaxIdleConns限制为25个连接。

3、为了降低上面第2点的风险，通常应该设置ConnMaxIdleTime值来删除长时间未使用的空闲连接。在这个项目中，我们将设置ConnMaxIdleTime持续时间为15分钟。

4、ConnMaxLifetime默认设置为无限大是可以的，除非您的数据库对连接生命周期施加了硬限制，或者您需要它协助一些操作，比如优雅地交换数据库。这些都不适用于本项目，所以我们将保留这个默认的无限制配置。

与其硬编码这些配置，不如更新cmd/api/main.go文件通过命令行参数读取配置。

ConnMaxIdleTime值比较有意思，因为我们希望它传递一段时间，最终需要将其转换为Go的time.Duration类型。这里有几个选择:

1、我们可以使用一个整数来表示秒(或分钟)的数量，并将其转换为time.Duration。

2、我们可以使用一个表示持续时间的字符串——比如“5s”(5秒)或“10m”(10分钟)——然后使用time.ParseDuration()函数解析它。

3、两种方法都可以很好地工作，但是在这个项目中我们将使用选项2。继续并更新cmd/api/main.go文件如下:

File: cmd/api/main.go

Go语言之并发示例-Pool

这篇文章演示使用有缓冲的通道实现一个资源池，这个资源池可以管理在任意多个goroutine之间共享的资源，比如网络连接、数据库连接等，我们在数据库操作的时候，比较常见的就是数据连接池，也可以基于我们实现的资源池来实现。

可以看出，资源池也是一种非常流畅性的模式，这种模式一般适用于在多个goroutine之间共享资源，每个goroutine可以从资源池里申请资源，使用完之后再放回资源池里，以便其他goroutine复用。

好了，老规矩，我们先构建一个资源池结构体，然后再赋予一些方法，这个资源池就可以帮助我们管理资源了。

//一个安全的资源池，被管理的资源必须都实现io.Close接口

type Pool struct {
    m sync.Mutex
    res chan io.Closer
    factory func() (io.Closer,error)
    closed bool}

这个结构体Pool有四个字段，其中m是一个互斥锁，这主要是用来保证在多个goroutine访问资源时，池内的值是安全的。

res字段是一个有缓冲的通道，用来保存共享的资源，这个通道的大小，在初始化Pool的时候就指定的。注意这个通道的类型是io.Closer接口，所以实现了这个io.Closer接口的类型都可以作为资源，交给我们的资源池管理。

factory这个是一个函数类型，它的作用就是当需要一个新的资源时，可以通过这个函数创建，也就是说它是生成新资源的，至于如何生成、生成什么资源，是由使用者决定的，所以这也是这个资源池灵活的设计的地方。

closed字段表示资源池是否被关闭，如果被关闭的话，再访问是会有错误的。

现在先这个资源池我们已经定义好了，也知道了每个字段的含义，下面就开时具体使用。刚刚我们说到关闭错误，那么我们就先定义一个资源池已经关闭的错误。

var ErrPoolClosed = errors.New("资源池已经关闭。")

非常简洁，当我们从资源池获取资源的时候，如果该资源池已经关闭，那么就会返回这个错误。单独定义它的目的，是和其他错误有一个区分，这样需要的时候，我们就可以从众多的error类型里区分出来这个ErrPoolClosed。

下面我们就该为创建Pool专门定一个函数了，这个函数就是工厂函数，我们命名为New。

//创建一个资源池
func New(fn func() (io.Closer, error), size uint) (*Pool, error) {
    if size <= 0 {
            return nil, errors.New("size的值太小了。")
    }   
    return &Pool{
        factory: fn,
        res:     make(chan io.Closer, size),
    }, nil

}

这个函数创建一个资源池，它接收两个参数，一个fn是创建新资源的函数；还有一个size是指定资源池的大小。

这个函数里，做了size大小的判断，起码它不能小于或者等于 0 ，否则就会返回错误。如果参数正常，就会使用size创建一个有缓冲的通道，来保存资源，并且返回一个资源池的指针。

有了创建好的资源池，那么我们就可以从中获取资源了。

//从资源池里获取一个资源
func (p *Pool) Acquire() (io.Closer,error) {
    select {
        case r,ok := <-p.res:
                log.Println("Acquire:共享资源")
                if !ok {
                            return nil,ErrPoolClosed
                }        
                return r,nil
        default:
                log.Println("Acquire:新生成资源")        
                return p.factory()
    }

}

Acquire方法可以从资源池获取资源，如果没有资源，则调用factory方法生成一个并返回。

这里同样使用了select的多路复用，因为这个函数不能阻塞，可以获取到就获取，不能就生成一个。

这里的新知识是通道接收的多参返回，如果可以接收的话，第一参数是接收的值，第二个表示通道是否关闭。例子中如果ok值为false表示通道关闭，如果为true则表示通道正常。所以我们这里做了一个判断，如果通道关闭的话，返回通道关闭错误。

有获取资源的方法，必然还有对应的释放资源的方法，因为资源用完之后，要还给资源池，以便复用。在讲解释放资源的方法前，我们先看下关闭资源池的方法，因为释放资源的方法也会用到它。

关闭资源池，意味着整个资源池不能再被使用，然后关闭存放资源的通道，同时释放通道里的资源。

//关闭资源池，释放资源
func (p *Pool) Close() {
    p.m.Lock()    
    defer p.m.Unlock()    
    if p.closed {        
          return
     }

    p.closed = true

    //关闭通道，不让写入了
    close(p.res)    //关闭通道里的资源
    for r:=range p.res {
        r.Close()
    }
}

这个方法里，我们使用了互斥锁，因为有个标记资源池是否关闭的字段closed需要再多个goroutine操作，所以我们必须保证这个字段的同步。这里把关闭标志置为true。

然后我们关闭通道，不让写入了，而且我们前面的Acquire也可以感知到通道已经关闭了。同比通道后，就开始释放通道中的资源，因为所有资源都实现了io.Closer接口，所以我们直接调用Close方法释放资源即可。

关闭方法有了，我们看看释放资源的方法如何实现。

func (p *Pool) Release(r io.Closer){   
     //保证该操作和Close方法的操作是安全的
    p.m.Lock()    
    defer p.m.Unlock() 
    //资源池都关闭了，就省这一个没有释放的资源了，释放即可
    if p.closed {
        r.Close()        
        return
    }
    select {
    case p.res <- r:
        log.Println("资源释放到池子里了")    
    default:
        log.Println("资源池满了，释放这个资源吧")
        r.Close()
    }
}

释放资源本质上就会把资源再发送到缓冲通道中，就是这么简单，不过为了更安全的实现这个方法，我们使用了互斥锁，保证closed标志的安全，而且这个互斥锁还有一个好处，就是不会往一个已经关闭的通道发送资源。

这是为什么呢？因为Close和Release这两个方法是互斥的，Close方法里对closed标志的修改，Release方法可以感知到，所以就直接return了，不会执行下面的select代码了，也就不会往一个已经关闭的通道里发送资源了。

如果资源池没有被关闭，则继续尝试往资源通道发送资源，如果可以发送，就等于资源又回到资源池里了；如果发送不了，说明资源池满了，该资源就无法重新回到资源池里，那么我们就把这个需要释放的资源关闭，抛弃了。