让EFCore更疯狂些的扩展类库：查询缓存分部sql表名替换的策略配置

Posted 2020-08-28

前言

上一篇介绍了扩展类库的功能简介，通过json文件配置sql语句 和 sql语句的直接执行，这篇开始说明sql配置的策略模块：策略管理器与各种策略的配置。

　　类库源码：github：https://github.com/skigs/EFCoreExtend

　　引用类库：nuget：https://www.nuget.org/packages/EFCoreExtend/

　　　　　PM> Install-Package EFCoreExtend

 

策略管理器功能简介

用于管理策略 与 策略执行器和调用(目前分为三种策略执行器)，目的为了让配置的sql语句更加简单、自动化等等。

1) 策略类型管理

　　a) 管理各种策略类型，用于初始化配置文件中的策略配置转换成对象

2) 策略对象配置

　　a) 通过 sql配置的执行器 的形参传递策略对象

　　b) 通过 配置文件(分为表和sql) 配置策略对象

　　c) 配置到 全局策略 中(策略管理器中)

　　d) 策略对象获取的优先级：通过执行器的形参传递的策略对象 > sql配置的策略对象 > 表配置的策略对象 > 全局策略中配置

3) 策略执行器(一般通过策略对象进行相应的处理)

　　a) 初始化型的策略执行器：这种类型的会在第一次调用GetExecutor的时候执行，只会执行一次，除非sql配置有改动

1. 1.  配置策略对象的初始化、替换表名、合并分部sql等的策略执行器

　　b) sql执行前的策略执行器：一般用于对SqlParameter进行解析到sql中

1. 1.  foreach策略执行器：对SqlParameter或者某些数据类型（list/dictionary/model）进行遍历生成字串替换到sql中

　　c) sql执行时的策略执行器：一般用于缓存和日志记录

1. 1.  sql与参数的日志记录策略执行器
   2.  查询缓存与清理策略执行器

 

表名替换策略

通过特定的标签代替表名在sql配置中呈现(该策略对象默认已经添加到全局策略中，因此并不一定要在配置文件中配置)：

{
  "policies": { //表配置的策略对象（会包含到表下的所有sql配置中）
    //表名策略
    "tname": {
      //"tag": "##tname"  //默认值为 ##tname
    }
  },
  "sqls": {
    "GetList": {
      "sql": "select * from ##tableName where [email protected]", // => select * from [Person] where [email protected]
      "type": "query",
      "policies": { //sql配置的策略对象
        //表名策略
        "tname": {
          "tag": "##tableName", //默认值为 ##tname
          "prefix": "[", //前缀
          "suffix": "]" //后缀
        }
      }
    }
  }
}

配置初始化：

 1         public static void Init()
 2         {
 3             //加载配置
 4             EFHelper.Services.SqlConfigMgr.Config.LoadDirectory(Directory.GetCurrentDirectory() + "/Datas");
 5 
 6             //设置到全局策略中(一般用于设置 初始化型的策略对象)，将策略对象设置到全局之后，会包含到所有配置中的
 7             EFHelper.Services.SqlConfigMgr.PolicyMgr.SetGlobalPolicy(
 8                 //TableNamePolicy对象默认已经添加到全局策略中
 9                 new TableNamePolicy    //表名策略在配置文件中呈现的key：tname(可以通过SqlConfigConst.TableNamePolicyName获取)
10                 {
11                     Tag = "##tname",
12                 });
13         }

配置执行器调用：

 1         public IReadOnlyList<Person> GetList()
 2         {
 3             tinfo = db.GetConfigTable<Person>();
 4             return tinfo.GetExecutor().QueryUseModel<Person>(new
 5             {
 6                 name = "tom"
 7             }, null, null,
 8             //通过参数传递策略对象(一般用于设置 sql执行前 或 执行时的策略对象，
 9             //      而初始化型的一般在配置文件或全局策略中设置)
10             new[] { new SqlL2QueryCachePolicy() });
11         }

说明：

策略对象获取的优先级（如果策略对象设置到多个地方了）： 执行器形参传递的策略对象 >  sql配置的策略对象 >  表配置的策略对象 >  全局策略中配置

 

分部sql策略

分部sql目的为了将sql分部在不同的配置中，以便sql的可重用：

Person.json配置：

{
  "sqls": {
    "GetListSection": {
      "sql": "select * from ##tname where #{WhereSec}",    
        //最终生成的sql：select * from Person where [email protected] or addrid in (select id from Address where [email protected])
      "type": "query",
      "policies": {
        //分部sql策略，以便将sql分部在不同的配置中（注意：分部策略是对sql的分部，可以在分部sql下再进行分部sql(子分部)，但是不会继承分部sql中的policies(策略对象)等的配置）
        "section": {
          //"tagPrefix": "#{", //策略前缀标记符，默认为 #{
          //"tagSuffix": "}", //策略后缀标记符，默认为 }
          "sqlNames": [ "WhereSec" ] //指定sql的名称(同表下的SqlName)
          //"tableSqlNames": { //指定其他表的sql名称(key为TableName，value为SqlName)
          //}
        }
      }
    },
    "WhereSec": {
      "sql": " #{WhereSec1} or addrid in (#{Address.ListSec}) ",
      "type": "nonexecute",    //不用于执行的sql类型
      "policies": {
        "section": {
          "sqlNames": [ "WhereSec1" ],
          "tableSqlNames": { //指定其他表的sql名称(key为TableName，value为SqlName)
            "Address": "ListSec"
          }
        }
      }
    },
    "WhereSec1": {
      "sql": "[email protected]",
      "type": "nonexecute"
    }
  }
}

Address.json：

{
  "sqls": {
    "ListSec": {
      "sql": "select id from ##tname where #{WhereSec}",
      "type": "nonexecute",
      "policies": {
        "section": {
          "sqlNames": [ "WhereSec" ] //指定sql的名称(同表下的SqlName)
        }
      }
    },
    "WhereSec": {
      "sql": "[email protected]",
      "type": "nonexecute"
    }
  }
}

View Code

配置执行器调用：

1         public IReadOnlyList<Person> GetListSection()
2         {
3             tinfo = db.GetConfigTable<Person>();
4             return tinfo.GetExecutor().QueryUseModel<Person>(new
5             {
6                 name = name,
7                 addrid = 123,
8             });
9         }

View Code

 

查询缓存与缓存清理策略

查询缓存分为 一级缓存 和 二级缓存。

一级查询缓存策略

一级缓存仅作用于SqlConfigExecutor对象中，而且不能设置缓存过期时间。

配置：

{
  "sqls": {
    "GetListL1Cache": {
      "sql": "select * from ##tname where [email protected]",
      "type": "query",
      "policies": {
        "l1cache": {} //一级查询缓存，仅作用于SqlConfigExecutor对象
      }
    }
  }
}

View Code

配置执行器调用：

        public void GetListL1Cache()
        {
            var tinfo = db.GetConfigTable<Person>();
            var exc = tinfo.GetExecutor();
            var q1 = exc.QueryUseModel<Person>(new { name = _name });
            var q2 = exc.QueryUseModel<Person>(new { name = _name });
            //一级缓存作用于SqlConfigExecutor，那么同一个SqlConfigExecutor对象下，
            //  相同的sql和SqlParameter获取的数据是一样的
            Assert.True(q1 == q2);
            var q3 = exc.QueryUseModel<Person>(new { name = _name + "1" });
            //参数变了
            Assert.True(q1 != q3);
        }

View Code

二级查询缓存策略

二级查询缓存，作用于整个程序运行期间，也可配置到Redis中，如果同时配置了二级缓存和一级缓存默认是使用二级缓存(策略执行器的优先级有关)。

配置：

{
  "name": "Person",
  "policies": {
    //二级查询缓存，作用于整个程序运行期间 / 或者跨进程分布式（Redis），如果同时配置了二级缓存和一级缓存默认时使用二级缓存(策略执行器的优先级有关)
    "l2cache": {
      //"type"："",  //缓存的类型(Query默认为：query, Scalar默认为：scalar)
      "expiry": { //注意如果没有设置expiry的date/span，那么缓存不会过期的
        //"date": "2018-01-01", //指定缓存的过期日期
        //"span": "00:00:03" //指定缓存的过期间隔（换算日期为：当前时间 + 时间间隔）
        //"isUpdateEach": true //是否每次获取缓存之后更新过期时间(这个属性 + span属性来进行模拟session访问更新过期时间)
      }
    }
  },
  "sqls": {
    "CountL2Cache": {
      "sql": "select count(*) from ##tname",
      "type": "scalar",
      "policies": {
        "l2cache": {
          "expiry": {
            "span": "00:00:03", //指定缓存的过期间隔,这里设置为3秒
            "isUpdateEach": true //每次获取缓存之后更新过期时间
          }
        }
      }
    }
  }
}

配置执行器调用：

        public int CountL2Cache(TimeSpan? span = null)
        {
            var tinfo = db.GetConfigTable<Person>();
            if (span.HasValue)
            {
                return (int)tinfo.GetExecutor().ScalarUseModel(null, null,
                    //通过形参传递缓存策略对象：更改为不自动更新时间的
                    new SqlL2QueryCachePolicy
                    {
                        Expiry = new QueryCacheExpiryPolicy(span.Value, false)
                    });
            }
            else
            {
                return (int)tinfo.GetExecutor().Scalar();
            }
        }

View Code

更多的配置说明：

{
  "name": "Person",
  "sqls": {
    "GetListL2Cache": {
      "sql": "select * from ##tname",
      "type": "query",
      "policies": {
        "l2cache": { //二级查询缓存，不设置缓存过期时间(缓存不过期)
        }
      }
    },
    "GetListL2Cache1": {
      "sql": "select * from ##tname",
      "type": "query",
      "policies": {
        "l2cache": {
          "type": "query1" //指定CacheType，默认为query
        }
      }
    },
    "GetListL2Cache2": {
      "sql": "select * from ##tname where 2=2",
      "type": "query",
      "policies": {
        "l2cache": {
          "expiry": {
            "date": "2018-01-01" //指定缓存的过期日期
          }
        }
      }
    },
    "GetListL2Cache3": {
      "sql": "select * from ##tname where 3=3",
      "type": "query",
      "policies": {
        "l2cache": {
          "expiry": {
            "span": "00:00:03" //指定缓存的过期间隔（换算日期为：当前时间 + 时间间隔），为了方便测试因此这里指定了3秒
          }
        }
      }
    },
    "CountL2Cache": {
      "sql": "select count(*) from ##tname",
      "type": "scalar",
      "policies": {
        "l2cache": {
          "expiry": {
            "span": "00:00:03", //指定缓存的过期间隔（换算日期为：当前时间 + 时间间隔），为了方便测试因此这里指定了3秒
            "isUpdateEach": true //是否每次获取缓存之后更新过期时间(这个属性 + span属性来进行模拟session访问更新过期时间)
          }
        }
      }
    }
  }
}

View Code

二级缓存清理策略

配置：

{
  "policies": {
    //二级查询缓存清理策略
    "clear": {
      "isAsync": true,//是否异步进行清理
      "isSelfAll": true, //是否清理 所在表下 的所有缓存
      "tables": [ "Address" ], //需要进行缓存清理的表的名称（一般用于清理 其他表下 的所有查询缓存）
      "cacheTypes": [ "query", "scalar1" ], //需要进行缓存清理的类型（用于清理 所在表下 的CacheType查询缓存）
      "tableCacheTypes": { //需要进行缓存清理的类型(key为TableName，value为CacheType，一般用于清理 其他表下 的CacheType)
        "Address": "query"
      }
    }
  },
  "sqls": {
    "CountL2Cache": {
      "sql": "select count(*) from ##tname",
      "type": "scalar",
      "policies": {
        "l2cache": {
          "type": "scalar1", //缓存的类型(Query默认为：query, Scalar默认为：scalar)
          "expiry": {
            "span": "00:00:03"
          }
        }
      }
    },
    "AddPersonL2Cache": {
      "sql": "insert into ##tname(name, birthday, addrid) values(‘tom_t2cache‘, ‘2018-1-1‘, 123) ",
      "type": "nonquery",
      "policies": {
        "clear": {
          "isSelfAll": true //是否清理 所在表下 的所有缓存
        }
      }
    }
  }
}

View Code

配置执行器调用：

 1     public class PersonBLL
 2     {
 3         DBConfigTable tinfo;
 4         public PersonBLL(DbContext db)
 5         {
 6             tinfo = db.GetConfigTable<Person>();
 7         }
 8 
 9         public int CountL2Cache()
10         {
11             return (int)tinfo.GetExecutor().Scalar();
12         }
13 
14         public int AddPersonL2Cache()
15         {
16             return tinfo.GetExecutor().NonQuery();
17         }
18     }

View Code