Springboot2.0下通过redis实现支持分布式的mybatis二级缓存

Posted xufzhou

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Springboot2.0下通过redis实现支持分布式的mybatis二级缓存相关的知识,希望对你有一定的参考价值。

最近领导要求在项目中加下mybatis二级缓存,由于当前项目是分布式微服务,且是多节点部署的,而司内缓存中间件使用的redis,那很自然的要用redis做分布式缓存支持,避免出现直接使用原生mybatis二级缓存造成缓存数据不一致等问题。下面会对基于redis的mybatis二级缓存实现做下简单介绍,涉及一些概念,同时一些坑点做下整理。

1. 一级缓存

一级缓存是在SqlSession级别的缓存,MyBatis默认开启一级缓存。即同一个SqlSession对象,相同参数多次调用同一个Mapper方法时,只执行一次SQL,第一次查询后数据被缓存起来,之后的调用在没有缓存刷新、超时情况下都是直接先从缓存中取数据,不再去查数据库。不同SqlSession间,缓存是隔离的。

技术图片

此外实际项目开发中,一级缓存存在很大的局限性,我们的项目一般是Spring+Mybatis集成开发,而Spring的事务管理在逻辑层,每个service对应不同的SqlSession(这是通过MapperScannerConfigurer类创建SqlSession自动注入到service中的), 每次查询之后都会关闭SqlSession,缓存数据就会被清空。所以Spring整合之后,如果没有事务,一级缓存是没有实际意义的。

2. 二级缓存

二级缓存是Mapper级别的缓存,Mybatis默认不开启二级缓存。二级缓存的作用域是mapper的namespace,即相同namespace的两个mapper将共用同一缓存区域;支持跨SqlSession,即多个SqlSession可以共享一个mapper缓存。实现上是基于PerpetualCache的HashMap做本地存储,也支持自定义三方存储如ehcache、redis、memcache等,用于支持分布式。在本地使用HashMap存储缓存时,key为hashCode+sqlId+Sql语句(查询参数好像也参与,demo用的selectAll,没怎么关注),其他三方存储时key也差不多。

技术图片

注意:开启二级缓存后

  • 所有在映射文件里的select 语句都将被缓存。
  • 所有在映射文件里insert,update 和delete 语句会清空缓存。
  • 缓存默认使用“最近很少使用”LRU算法来回收
  • 缓存不会被设定的时间所清空。
  • 每个缓存可以存储1024 个列表或对象的引用(不管查询出来的结果是什么)。
  • 缓存将作为“读/写”缓存,意味着获取的对象不是共享的且对调用者是安全的。不会有其它的调用干扰其他调用者或线程所做的潜在修改

实现步骤:

1、全局cache-enable开关设置,此开关默认为true(实践证明不设置也行)

  • 创建mybatis-config.xml的配置文件
<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN"
        "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <settings>
        <!--这个配置使全局的映射器(二级缓存)启用或禁用缓存-->
        <setting name="cacheEnabled" value="true" />
    </settings>
</configuration>

 

  • Mybatis配置SqlSessionFactory时加载该配置
factory.setConfigLocation(new ClassPathResource("mybatis-config.xml"));

注:通过mybatis-config.xml配置缓存开关,验证启停正常;通过配置属性mybatis.configuration.cache-enabled=true的设置不起作用,原因有待探究

 

2、mapper.xml中<cache/>缓存标签的开启

  • 这是二级缓存开启的关键,如下配置是mybatis本地缓存,作用于整个mapper的所有查询,若某个<select>不需要缓存,设置useCache=false即可
<cache eviction="FIFO"  flushInterval="60000"  size="512"  readOnly="true"/>
  • 若要自定义三方存储,需要自实现org.apache.ibatis.cache.Cache接口,并在<cache type="com.bkjk.growth.configs.MybatisRedisCache"/>标签中指定自定义实现。另外关于Spring的ApplicationContext上下文获取,简单提一句,即实现ApplicationContextAware接口即可切入上下文
@Slf4j
public class MybatisRedisCache implements Cache 
    // RedisTemplate实例的封装工具类
    RedisUtilHandler redisUtilHandler;
    private String id;
    private final ReadWriteLock readWriteLock = new ReentrantReadWriteLock();

    public MybatisRedisCache(final String id) 
        if (id == null) 
            throw new IllegalArgumentException("Cache instances require an ID");
        
        this.id = id;
    
    
    // 通过Spring上下文获取redis操作类
    // 个人理解mybatis的某些配置加载是工作在拦截器层,初始化会早于IOC容器的某些bean的加载,这会通过spring自动注入 
    // 是拿不到代理对象的,所以这里做后置延迟处理,调用时再从上下文的获取Bean
    private RedisUtilHandler getRedisHandler()
        if(redisUtilHandler == null)
            redisUtilHandler = SpringContextHolder.getBean("redisUtilHandler");
        
        return redisUtilHandler;
    
    @Override
    public void clear() 
        try 
            RedisUtilHandler redisUtilHandler = getRedisHandler();
            redisUtilHandler.flushCache(id);
         catch (Exception e) 
            log.error("clear Exception: ", e);
         
    
    @Override
    public String getId() 
        return this.id;
    
    @Override
    public void putObject(Object key, Object value) 
        try 
            RedisUtilHandler redisUtilHandler = getRedisHandler();
            redisUtilHandler.setCache(key.toString(), value, 1, TimeUnit.DAYS);
         catch (Exception e) 
            log.error("putObject Exception: ", e);
         
    
    @Override
    public Object getObject(Object key) 
        Object result = null;
        try 
            RedisUtilHandler redisUtilHandler = getRedisHandler();
            result = redisUtilHandler.getCache(key.toString(), Object.class);
         catch (Exception e) 
            log.error("getObject Exception: key### ", key, e);
         
        return result;
        
    
    @Override
    public Object removeObject(Object key) 
        Object result = null;
        try 
            RedisUtilHandler redisUtilHandler = getRedisHandler();
            redisUtilHandler.delete(key.toString());
         catch (Exception e) 
            log.error("clear Exception: ", e);
        
        return result;
    

    @Override
    public int getSize() 
        RedisUtilHandler redisUtilHandler = getRedisHandler();
        Long size = (Long) redisUtilHandler.getInstance().execute(new RedisCallback<Long>() 
            @Override
            public Long doInRedis(RedisConnection connection) throws DataAccessException 
                return connection.dbSize();
            
        );
        return size.intValue();

    
    @Override
    public ReadWriteLock getReadWriteLock() 
        return this.readWriteLock;
    
完整的mapper.xml示例
<mapper namespace="com.xxx.xxx.xxx.repository.mapper.UserMapper">
<cache type="com.xxx.xxx.MybatisRedisCache"/>
  <resultMap id="BaseResultMap" type="com.xxx.xxx.xxx.repository.model.User">
    <id column="id" jdbcType="INTEGER" property="id" />
    <result column="union_id" jdbcType="VARCHAR" property="unionId" />
    <result column="user_id" jdbcType="VARCHAR" property="userId" />
    <result column="user_name" jdbcType="VARCHAR" property="userName" />
    ...
  </resultMap>
  <select id="selectUsers" resultMap="BaseResultMap">
      SELECT * FROM table
  </select>
  <select id="selectUserById" resultMap="BaseResultMap" useCache="false">
      SELECT * FROM table WHERE user_id = #userId
  </select>
 

3、Model实体类需要做序列化

public class User implements Serializable
   private static final long serialVersionUID = -6596381461353742505L;
   ...

本文是以redis作为存储介质,在redis配置时即指定了key、value的序列化方式,所以我在这步时实体类上序列化可有可无(也有人说即使本地缓存也不需要)

 

执行示例结果:

技术图片

 

坑点整理:

在第二步实现时,我用了<cache/>标签来开启二级缓存,此处还可以在mybatis的mapper接口类上使用等效注解来开启二级缓存,注解如下:

@CacheNamespace(implementation = com.xxx.xxx.configs.MybatisRedisCache.class)

但使用注解和xml中<cache/>标签不能同时作用,也就是说使用注解时,只能在Mapper接口的方法上用@Select注解绑定执行SQL,缓存才有效;同样使用<cache/>标签,则只能在mapper.xml中定义<select>标签进行带缓存查询。两者同时存在也只会有一种起效,是哪种可以自己试试。

 

缺陷分析:

  • Mybatis自身的缓存天生不支持分布式,需要整合其他第三方缓存库

        好在本文既是以redis作为自定义缓存来实现的,可以解决这个问题

  • 由于二级缓存是基于mapper级别的,以命名空间(namespace)隔离,可能导致联表查询的数据脏读

        这样的情况会发生在做联表查询时,参与联合查询的表在被其中一个或者多个namespace做数据缓存时,都是存的彼此初次关联查询时的数据镜像,而这之后各个namespace下表数据的更新了,二级缓存是不知道的,也就造成了数据脏读。 

        能想到的处理方式:

        1、联表查询,关联的所有表的操作都必须在同一个namespace。这个很难保证

        2、缩小缓存有效时间,当前是基于redis的三方缓存,可以自行设定失效时间,应当在不影响业务性能的情况下尽量缩短缓存有效时间。但问题其实同样是治标不治本

 

至此,mybatis二级缓存应该是比较全的使用实现了。基于缺陷上还有一点思考,我们的项目是否真的需要用到mybatis的二级缓存?像其他使用者说的,mybatis可是默认关闭二级缓存的,所以由此你该多考虑一下;如果是某些必要场景,比如访问频次较高的大单表查询,或者是表数据更新频次不会太高,缓存时效可以覆盖变更频率的,二级缓存还是不错的选择。其他复杂场景的缓存建议还是自己做业务缓存或者直接上Spring Cache比较划得来。

  

附:mapper中配置的参数说明:

  • eviction(可用的收回策略)默认为 LRU
    • LRU – 最近最少使用的:移除最长时间不被使用的对象。
    • FIFO – 先进先出:按对象进入缓存的顺序来移除它们。
    • SOFT – 软引用:移除基于垃圾回收器状态和软引用规则的对象。
    • WEAK – 弱引用:更积极地移除基于垃圾收集器状态和弱引用规则的对象。
  • flushInterval(刷新间隔)可以被设置为任意的正整数,而且它们代表一个合理的毫秒形式的时间段。默认情况是不设置,也就是没有刷新间隔,缓存仅仅调用语句时刷新。
  • size(引用数目)可以被设置为任意正整数,要记住你缓存的对象数目和你运行环境的可用内存资源数目。默认值1024。
  • readOnly(只读)属性可以被设置为 true 或 false。只读的缓存会给所有调用者返回缓存对象的相同实例。因此这些对象不能被修改。这提供了很重要的性能优势。可读写的缓存会返回缓存对象的拷贝(通过序列化)。这会慢一些,但是安全,因此默认是false。

 

参考:

https://www.cnblogs.com/happyflyingpig/p/7739749.html

https://www.cnblogs.com/yuluoxingkong/p/8205858.html

以上是关于Springboot2.0下通过redis实现支持分布式的mybatis二级缓存的主要内容,如果未能解决你的问题,请参考以下文章

SpringBoot2.0 基础案例(08):集成Redis数据库,实现缓存管理

springboot2.0+redis实现消息队列+redis做缓存+mysql

SpringBoot2.0 基础案例(13):基于Cache注解模式,管理Redis缓存

SpringBoot2.0之六 多环境配置

SpringBoot2.0 生成组建和读写配置文件

springboot2.0中使用@cacheable时如何为每个redis缓存配置不同的ttl