tornado+sqlalchemy+celery,数据库连接消耗在哪里

Posted 2020-08-24

　　随着公司业务的发展，网站的日活数也逐渐增多，以前只需要考虑将所需要的功能实现就行了，当日活越来越大的时候，就需要考虑对服务器的资源使用消耗情况有一个清楚的认知。
     最近老是发现数据库的连接数如果几天不重启服务器，就经常会发现有很多sleep很久的数据库连接，对数据库服务器的性能有较大的影响。所以需要知道我们的数据库连接到底是在哪里被创建的，什么时候会被复用，什么时候会被释放。
     测试的时候使用的代码,适当进行调整，可帮助梳理清楚场景。

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import (sessionmaker)
from sqlalchemy import create_engine
import time

## []括起来的参数，这边就是做一个占位符
engine = create_engine("mysql+{driver}://{username}:{password}@{server}/{database}?charset={charset}"    .format(
        driver   = [MYSQL_DRIVER],
        username = [MYSQL_USERNAME],
        password = [MYSQL_PASSWORD],
        server   = [MYSQL_MASTER_SERVER],
        database = [DB_NAME],
        charset  = [DB_CHARSET]
    ),
    pool_size    = 20,
    max_overflow = 100,
    pool_recycle = 7200,
    echo         = False  # 调试模式，开启后可输出所有查询语句
)
DBSession = sessionmaker(bind=engine)
session=DBSession()
engine.execute("select 1;")
time.sleep(10)
session.execute("select 1;")
engine.execute("select 1;")
# session.close()
time.sleep(10)
session1=DBSession()
session1.execute("select 1;")
# session1.execute("select 1;")
engine.execute("select 1;")

    就是在上面的这一部分代码的测试，可以对以下的问题给出一些个人理解：
1.什么时候创建新的数据库连接的？
   A.engine.excute
   B.session.excute
   C.session.query
2.什么时候关掉sqlachemy里面的连接(其实是将可用的数据库连接丢回到sqlachemy的连接池里面去)：
   A.engine的excute执行完成时
   B.session.close()
   C.engine定义里面设置的pool_recycle时间到期，如果某一个session长期占有，没有close，在这个到期了之后就会被回收回去；
3.什么时候关掉数据库连接:
   A.python3进程关掉，比如kill或者重启服务器的时候；
   B.数据库连接的sleep时间超过wait_timeout的时候；比如在一个http请求里面，先用了一次session.query,然后休眠了10秒钟，这个时候我们的数据库的wait_timeout如果设置为5秒，在query执行完成之后，数据库就会显示连接进入sleep状态，超过5秒就会被关掉。这个时候，如果我们如果需要继续用这个session来进行查询的话，就会提示“MySQL connection not available”

    所以，为了不产生比较多的数据库连接，导致无谓的资源消耗，就是一定要注意尽量少创建新的，使用完了以后，一定要注意丢回到连接池中；当然还要保证，数据库的wait_timeout时间不能低于engine的pool_recyle时间，否则会出现mysql连接不可用的提示。
    在tornado里面，可以在base的on_finish方法里面将本次请求产生的session关掉；
    使用celery的时候也需要注意，可以在函数执行的末尾关掉本次创建的session，也可以写装饰器；并且需要注意，对函数异常也要进行捕获。

本次的测试过程使用到的一些知识：
    ①.查询数据库的连接超时设置：show variables like ‘%wait_timeout%‘;
    ②.查询数据库的最大可用连接数：show variables like ‘%max_connections%‘;
    ③.设置数据库的连接超时：set wait_timeout=28800;||set global wait_timeout=5;(这个global参数待查)
    ④.查看当前连接的使用情况:show status like ‘Threads%‘;
    ⑤.查看所有的数据库连接情况：show full processlist;
    ⑥.lsof -i :3306 查看数据库的端口[3306]现在运行的情况

不过，后续还是需要把sqlachemy 官网推荐的web如何使用session的英文撸一撸。。。http://docs.sqlalchemy.org/en/latest/orm/session_basics.html#session-faq-whentocreate

然后还有一个疑惑，是在使用⑥的时候，有发现有一些celery程序有出现closewait的状态。
      tcp连接有3次握手，断开连接有4次握手。closewait状态的产生，其实就是如果A是主动断开的一方，那么在B这边显示就会是CloseWait状态。
      所以celery出现closewait,那就说明是mysql先关闭了连接，但是，celery和MySQL的连接，也是，一个是使用的是db_config里面的engine，回收时间是7200，mysql的wait_timeout是28800，按道理不会出现数据库中关掉了，但是celery里面没关掉的情况。。。
      可能是我还是有哪里没有弄的很透彻。。。