那些好用数据库连接池JVM调优实战开源项目分享

Posted Seven的代码实验室

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了那些好用数据库连接池JVM调优实战开源项目分享相关的知识,希望对你有一定的参考价值。


本周是2021年的第15周,看看本周代码实验室都做了哪些实验,本周工作比较忙,分享的干货不是特别多,主要讲了两个好用的数据库连接池、PS+PO的JVM调优实战入门,还有带来一个后端开发脚手架的项目分享,马上去片~


那些好用数据库连接池、JVM调优实战、开源项目分享


文末有福利分享噢~

那些好用的数据库连接池

数据库连接池协同原理:


那些好用数据库连接池、JVM调优实战、开源项目分享


连接池基本的思想是在系统初始化的时候,将数据库连接作为对象存储在内存中,当用户需要访问数据库时,并非建立一个新的连接,而是从连接池中取出一个已建立的空闲连接对象。使用完毕后,用户也并非将连接关闭,而是将连接放回连接池中,以供下一个请求访问使用。而连接的建立、断开都由连接池自身来管理。同时,还可以通过设置连接池的参数来控制连接池中的初始连接数、连接的上下限数以及每个连接的最大使用次数、最大空闲时间等等。也可以通过其自身的管理机制来监视数据库连接的数量、使用情况等。


Java数据库连接池有哪些?


在Java中开源的数据库连接池有以下几种 :


C3P0:是一个开放源代码的JDBC连接池,它在lib目录中与Hibernate [2] 一起发布,包括了实现jdbc3和jdbc2扩展规范说明的Connection 和Statement 池的DataSources 对象。


Proxool:是一个Java SQL Driver驱动程序,提供了对选择的其它类型的驱动程序的连接池封装。可以非常简单的移植到现存的代码中,完全可配置,快速、成熟、健壮。可以透明地为现存的JDBC驱动程序增加连接池功能。


DBCP:DBCP是一个依赖Jakartacommons-pool对象池机制的数据库连接池。DBCP可以直接的在应用程序中使用。


DDConnectionBroker:是一个简单、轻量级的数据库连接池。


DBPool:是一个高效、易配置的数据库连接池。它除了支持连接池应有的功能之外,还包括了一个对象池,使用户能够开发一个满足自己需求的数据库连接池。


XAPool:是一个XA数据库连接池。它实现了javax.sql.XADataSource并提供了连接池工具。


Primrose:是一个Java开发的数据库连接池。当前支持的容器包括Tomcat4&5、Resin3与JBoss3。它同样也有一个独立的版本,可以在应用程序中使用而不必运行在容器中。Primrose通过一个WEB接口来控制SQL处理的追踪、配置,以及动态池管理。在重负荷的情况下可进行连接请求队列处理。


SmartPool:是一个连接池组件,它模仿应用服务器对象池的特性。SmartPool能够解决一些临界问题如连接泄漏(connection leaks)、连接阻塞、打开的JDBC对象(如Statements、PreparedStatements)等。SmartPool的特性包括:

  • 支持多个pool

  • 自动关闭相关联的JDBC对象

  • 在所设定time-outs之后察觉连接泄漏

  • 追踪连接使用情况

  • 强制启用最近最少用到的连接

  • 把SmartPool“包装”成现存的一个pool

MiniConnectionPoolManager:是一个轻量级JDBC数据库连接池。它只需要Java1.5(或更高)并且没有依赖第三方包。


BoneCP:是一个快速、开源的数据库连接池。帮用户管理数据连接,让应用程序能更快速地访问数据库。比C3P0/DBCP连接池速度快25倍。


Druid:Druid不仅是一个数据库连接池,还包含一个ProxyDriver、一系列内置的JDBC组件库、一个SQL Parser。

支持所有JDBC兼容的数据库,包括Oracle、mysql、Derby、Postgresql、SQL Server、H2等。


Druid针对Oracle和MySql做了特别优化,比如:

    • Oracle的PS Cache内存占用优化

    • MySql的ping检测优化

Druid提供了MySql、Oracle、Postgresql、SQL-92的SQL的完整支持,这是一个手写的高性能SQL Parser,支持Visitor模式,使得分析SQL的抽象语法树很方便。

简单SQL语句用时10微秒以内,复杂SQL用时30微秒。


通过Druid提供的SQL Parser可以在JDBC层拦截SQL做相应处理,比如说分库分表、审计等。Druid防御SQL注入攻击的WallFilter,就是通过Druid的SQL Parser分析语义实现的。


HikariCPHikariCP是由日本程序员开源的一个数据库连接池组件,代码非常轻量,并且速度非常的快。根据官方提供的数据,在i7,开启32个线程32个连接的情况下,进行随机数据库读写操作,HikariCP的速度是现在常用的C3P0数据库连接池的数百倍。在SpringBoot2.0中,官方也是推荐使用HikariCP。


本周代码实验室详细介绍了目前最主流使用的两款数据库连接池HikariCP和Druid,Hikari为何如此快?Druid为监控而生的连接池,欢迎围观

PS+PO调优实战

JVM性能优化到底在优化什么?


JVM性能优化就是指的是通过内存的合理分配,以及合理的设置参数,避免jvm频繁的发生垃圾回收,减少系统停顿时间等。


JVM在年轻代发生的是YGC使用的是复制回收算法,一般使用的垃圾收集器是ParNew+CMS,复制回收算法效率较高,并且大部分对象都会在年轻代被回收掉(GcRoot跟路径扫描判断对象是否可回收),耗时较短。


JVM在老年代会发生full Gc 使用的是标记整理法,垃圾回收时分为初始标记,并发标记,并发清理,内存整理等阶段,耗时较长一般能有YGC耗时的10倍左右,并且老年代的对象大部分都是长期存活的对象,执行过Full GC之后回收掉无用对象剩余的空间可能还不够年轻代将要晋升老年代的对象空间,那么可能就会频繁发生Full GC了。


所以总结下来JVM性能优化的本质就是:通过年轻代&老年代内存合理的分配,尽量让对象都在年轻代时被回收,尽量减少对象或者没有对象进入老年代,尽量做到长时间或者零Full GC。


PS+PO调优相关参数设置欢迎围观

开源项目分享

今天开始做第一期的开源项目分享,首先带来的第一款是TIMO管理系统,基于SpringBoot2.0 + Spring Data Jpa + Thymeleaf 的后台脚手架。


基本情况


基于SpringBoot2.0 + Spring Data Jpa + Thymeleaf + Shiro 开发的后台管理系统,采用分模块的方式便于开发和维护,支持前后台模块分别部署,目前支持的功能有:权限管理、部门管理、字典管理、日志记录、文件上传、代码生成等,为快速开发后台系统而生的脚手架!


技术选型

  • 后端技术:SpringBoot + Spring Data Jpa + Thymeleaf + Shiro + Jwt + EhCache

  • 前端技术:Layui + Jquery + zTree + Font-awesome


功能列表

  • 用户管理:用于管理后台系统的用户,可进行增删改查等操作。

  • 角色管理:分配权限的最小单元,通过角色给用户分配权限。

  • 菜单管理:用于配置系统菜单,同时也作为权限资源。

  • 部门管理:通过不同的部门来管理和区分用户。

  • 字典管理:对一些需要转换的数据进行统一管理,如:男、女等。

  • 行为日志:用于记录用户对系统的操作,同时监视系统运行时发生的错误。

  • 文件上传:内置了文件上传接口,方便开发者使用文件上传功能。

  • 代码生成:可以帮助开发者快速开发项目,减少不必要的重复操作,花更多精力注重业务实现。

  • 表单构建:通过拖拽的方式快速构建一个表单模块。

  • 数据接口:根据业务代码自动生成相关的api接口文档


项目文档



社区活跃度


Gitee源码Star数2.3k,Fork数1.1k,还是比较高的,Gitee指数综合得分是57,代码最近一次更新是28天前,从数据上看社区活跃程度还是比较高的。


实验室管理员评测


技术栈评分:技术栈使用的目前较为主流的开发技术,后端技术像SpringBoot、JPA、JWT认证技术等等,前端技术Layui等没有用目前企业中流行的Vue框架开发,稍微欠缺。综合打分60,技术栈评分达到及格线。


实现功能评分:基础的通用功能齐全,像用户、角色、菜单、字典、文件上传等等这些都是一些比较实用的功能,综合打分70。







以上就是本周代码实验室的所有干货汇总,感谢阅读~

我是Seven,一个不懈努力的程序猿,希望本文能对你有所裨益

往期文章


喜欢就点个"在看"呗^_^

以上是关于那些好用数据库连接池JVM调优实战开源项目分享的主要内容,如果未能解决你的问题,请参考以下文章

JVM调优经验分享

那些好用的数据库连接池都有哪些?

八:JVM调优实战及常量池详解

性能调优+源码分析实战,你绝对不能错过的干货分享!!!

清华大牛纯手写2021年最新JVM调优实战手册,看完让你精通JVM调优

追光者系列HikariCP连接池监控指标实战