.NET开源分表框架:EFCore.Sharding

Posted 恰童鞋骚年

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了.NET开源分表框架:EFCore.Sharding相关的知识,希望对你有一定的参考价值。

【开源项目作者 / 寒空飞箭
一个为EF Core提供Sharding的开源框架

在博客园上小编Edison高兴地发现了一个为EF Core提供读写分离分库分表支持的开源框架EFCore.Sharding,因此特破例于今日周二转载此文以快速地分享与各位童鞋。
本文作者寒空飞箭,该项目源码地址传送门:https://github.com/Coldairarrow/EFCore.Sharding
1项目简介

读写分离分库分表一直是数据库领域中的重难点,当数据规模达到单库极限的时候,就不得不考虑分表方案。EF Core作为.NET Core中最为主流的ORM,用起来十分方便快捷,但是官方并没有相应的Sharding支持,鄙人不才,经过一番摸索之后终于完成这个框架。

本框架旨在为EF Core提供Sharding(即读写分离分库分表支持,不仅提供了一套强大的普通数据操作接口,并且降低了分表难度,支持按时间自动分表扩容,提供的操作接口简洁统一。

2快速开始

准备工作

首先根据需要安装对应的Nuget包:
.NET开源分表框架:EFCore.Sharding

配置工作

class Base_UnitTestShardingRule : ModShardingRule<Base_UnitTest>{ protected override string KeyField => "Id"; protected override int Mod => 3;}
ShardingConfig.Init(config =>{ config.AddAbsDb(DatabaseType.SQLite) .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, "DataSource=db.db") .AddPhysicDbGroup() .AddPhysicTable<Base_UnitTest>("Base_UnitTest_0") .AddPhysicTable<Base_UnitTest>("Base_UnitTest_1") .AddPhysicTable<Base_UnitTest>("Base_UnitTest_2") .SetShardingRule(new Base_UnitTestShardingRule());});

上述代码中完成了Sharding配置

  • AddAbsDb是指添加抽象数据库,抽象数据库就是将多个分库看成同一个数据库来进行操作

  • AddPhysicDbGroup是指添加物理数据库组在同一组物理数据库中它们数据库类型相同拥有的表相同每个数据库拥有的数据是一致的(之间通过主主复制或主从复制进行数据同步)

  • AddPhysicTable是指添加物理数据表,传入的Base_UnitTest是抽象数据表(即将Base_UnitTest拆分为Base_UnitTest_0~2)

  • Base_UnitTestShardingRule是采用的分表规则上述代码中采用的是哈希取模的分表方式

开始使用

配置完成,下面开始使用,使用方式非常简单,与平常使用基本一致。
首先获取分片仓储接口 IShardingRepository:
IShardingRepository _db = DbFactory.GetRepository().ToSharding();
然后即可进行数据操作:
Base_UnitTest _newData = new Base_UnitTest{ Id = Guid.NewGuid().ToString(), UserId = "Admin", UserName = "超级管理员", Age = 22};List<Base_UnitTest> _insertList = new List<Base_UnitTest>{ new Base_UnitTest { Id = Guid.NewGuid().ToString(), UserId = "Admin1", UserName = "超级管理员1", Age = 22 }, new Base_UnitTest { Id = Guid.NewGuid().ToString(), UserId = "Admin2", UserName = "超级管理员2", Age = 22 }};//添加单条数据_db.Insert(_newData);//添加多条数据_db.Insert(_insertList);//清空表_db.DeleteAll<Base_UnitTest>();//删除单条数据_db.Delete(_newData);//删除多条数据_db.Delete(_insertList);//删除指定数据_db.Delete<Base_UnitTest>(x => x.UserId == "Admin2");//更新单条数据_db.Update(_newData);//更新多条数据_db.Update(_insertList);//更新单条数据指定属性_db.UpdateAny(_newData, new List<string> { "UserName", "Age" });//更新多条数据指定属性_db.UpdateAny(_insertList, new List<string> { "UserName", "Age" });//更新指定条件数据_db.UpdateWhere<Base_UnitTest>(x => x.UserId == "Admin", x =>{ x.UserId = "Admin2";});//GetList获取表的所有数据var list=_db.GetList<Base_UnitTest>();//GetIQPagination获取分页后的数据var list=_db.GetIShardingQueryable<Base_UnitTest>().GetPagination(pagination);//Maxvar max=_db.GetIShardingQueryable<Base_UnitTest>().Max(x => x.Age);//Minvar min=_db.GetIShardingQueryable<Base_UnitTest>().Min(x => x.Age);//Averagevar min=_db.GetIShardingQueryable<Base_UnitTest>().Average(x => x.Age);//Countvar min=_db.GetIShardingQueryable<Base_UnitTest>().Count();//事务,使用方式与普通事务一致bool succcess = _db.RunTransaction(() =>{ _db.Insert(_newData); var newData2 = _newData.DeepClone(); _db.Insert(newData2);}).Success;Assert.AreEqual(succcess, false);
上述操作中表面上是操作Base_UnitTest表,实际上却在按照一定规则使用Base_UnitTest_0~2三张表,使分片对业务操作透明,极大提高开发效率。

按时间自动分表

上面的哈希取模的方式虽然简单,但是却十分不实用,因为当3张分表到达瓶颈时,将会面临扩容的问题,这种方式扩容需要进行大量的数据迁移,这无疑是十分麻烦的。
因此需要一种方式能够系统自动建表扩容,并且无需人工干预,这就是按时间自动分表。
using Demo.Common;using EFCore.Sharding;using System;using System.Collections.Generic;using System.Threading;using System.Threading.Tasks;
namespace Demo.AutoExpandByDate{ class Base_UnitTestShardingRule : AbsShardingRule<Base_UnitTest> { public override DateTime BuildDate(Base_UnitTest obj){ return obj.CreateTime; } }
class Program { /// <summary> /// 表都在同一个数据库中 /// </summary> public static void OneGroup(){ DateTime startTime = DateTime.Now.AddMinutes(-5); DateTime endTime = DateTime.MaxValue;
//配置初始化 ShardingConfig.Init(config => { config.AddAbsDb(DatabaseType.SqlServer)//添加抽象数据库 .AddPhysicDbGroup()//添加物理数据库组 .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString1)//添加物理数据库1 .SetShardingRule(new Base_UnitTestShardingRule())//设置分表规则 .AutoExpandByDate<Base_UnitTest>(//设置为按时间自动分表 ExpandByDateMode.PerMinute, (startTime, endTime, ShardingConfig.DefaultDbGourpName) ); }); var db = DbFactory.GetShardingRepository(); while (true) { db.Insert(new Base_UnitTest { Id = Guid.NewGuid().ToString(), Age = 1, UserName = Guid.NewGuid().ToString(), CreateTime = DateTime.Now });
var count = db.GetIShardingQueryable<Base_UnitTest>().Count(); Console.WriteLine($"当前数据量:{count}");
Thread.Sleep(50); } }
/// <summary> /// 表分布在两个数据库测试 /// </summary> public static void TwoGroup(){ DateTime startTime1 = DateTime.Now.AddMinutes(-5); DateTime endTime1 = DateTime.Now.AddMinutes(5); DateTime startTime2 = endTime1; DateTime endTime2 = DateTime.MaxValue;
string group1 = "group1"; string group2 = "group2";
//配置初始化 ShardingConfig.Init(config => { config.AddAbsDb(DatabaseType.SqlServer)//添加抽象数据库 .AddPhysicDbGroup(group1)//添加物理数据库组1 .AddPhysicDbGroup(group2)//添加物理数据库组2 .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString1, group1)//添加物理数据库1 .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString2, group2)//添加物理数据库2 .SetShardingRule(new Base_UnitTestShardingRule())//设置分表规则 .AutoExpandByDate<Base_UnitTest>(//设置为按时间自动分表 ExpandByDateMode.PerMinute, (startTime1, endTime1, group1), (startTime2, endTime2, group2) ); });
List<Task> tasks = new List<Task>(); for (int i = 0; i < 4; i++) { tasks.Add(Task.Run(() => { var db = DbFactory.GetShardingRepository(); while (true) { db.Insert(new Base_UnitTest { Id = Guid.NewGuid().ToString(), Age = 1, UserName = Guid.NewGuid().ToString(), CreateTime = DateTime.Now });
var count = db.GetIShardingQueryable<Base_UnitTest>().Count(); Console.WriteLine($"当前数据量:{count}");
Thread.Sleep(50); } })); }
Console.ReadLine(); }
static void Main(string[] args){ OneGroup();
Console.ReadLine(); } }}
PS:上面Demo都在源码中。

上面的代码实现了将Base_UnitTest表按照时间自动分表,每分钟创建一张表,实际使用中根据业务需求设置ExpandByDateMode参数,常用按天、按月分表。自动分表的效果如下所示,全程无需人工干预,系统会自动定时创建分表,十分简单好用。

.NET开源分表框架:EFCore.Sharding

性能测试

using Demo.Common;using EFCore.Sharding;using System;using System.Diagnostics;using System.Linq;
namespace Demo.Performance{ class Base_UnitTestShardingRule : ModShardingRule<Base_UnitTest> { protected override string KeyField => "Id"; protected override int Mod => 3; }
class Program { static void Main(string[] args) { ShardingConfig.Init(config => { config.AddAbsDb(DatabaseType.SqlServer) .AddPhysicDb(ReadWriteType.Read | ReadWriteType.Write, Config.ConString1) .AddPhysicDbGroup() .AddPhysicTable<Base_UnitTest>("Base_UnitTest_0") .AddPhysicTable<Base_UnitTest>("Base_UnitTest_1") .AddPhysicTable<Base_UnitTest>("Base_UnitTest_2") .SetShardingRule(new Base_UnitTestShardingRule()); });
var db = DbFactory.GetRepository(Config.ConString1, DatabaseType.SqlServer); Stopwatch watch = new Stopwatch(); var q = db.GetIQueryable<Base_UnitTest>() .Where(x => x.UserName.Contains("00001C22-8DD2-4D47-B500-407554B099AB")) .OrderByDescending(x => x.Id) .Skip(0) .Take(30);
q.ToList(); q.ToSharding().ToList(); watch.Restart(); var list1 = q.ToList(); watch.Stop(); Console.WriteLine($"未分表耗时:{watch.ElapsedMilliseconds}ms"); watch.Restart(); var list2 = q.ToSharding().ToList(); watch.Stop(); Console.WriteLine($"分表后耗时:{watch.ElapsedMilliseconds}ms");
Console.WriteLine("完成"); } }}

分表Base_UnitTest_0-2各有100万数据,然后将这三张表的数据导入Base_UnitTest中(即Base_UnitTest表的数据与Base_UnitTest_0-2三张表总合数据一致)。

分表与不分表测试结果如下:

.NET开源分表框架:EFCore.Sharding

这里仅仅分了3张表,其效果立杆见影,若分表几十张,那效果想想就很棒

其他简单操作(非Sharding)

框架不仅支持Sharding,而且封装了常用数据库操作,使用比较简单。
详细使用方式参考:https://github.com/Coldairarrow/EFCore.Sharding/blob/master/examples/Demo.DI/Program.cs
3小结

这个简单实用强大的框架希望能够帮助到大家,力求为.NET生态贡献一份力,大家一起壮大.NET生态。

欢迎使用本框架,若觉得不错,请在GitHub上给本项目比心!

出处:https://www.cnblogs.com/coldairarrow/p/12733886.html

编辑:Edison Zhou

往期精彩回顾





如果本文对你有用,
不妨点个“在看”或者转发朋友圈

以上是关于.NET开源分表框架:EFCore.Sharding的主要内容,如果未能解决你的问题,请参考以下文章

.net core 基于Dapper 的分库分表开源框架(core-data)

EFCore.Sharding(EFCore开源分表框架)

ShardingCore 如何呈现“完美”分表

efcore分表下"完美"实现

.Net/C#分库分表高性能O瀑布流分页

分库分表下极致的优化