EF Core中高效批量删除更新数据的Zack.EFCore.Batch发布三个新特性

Posted 2021-06-26 dotNET跨平台

Zack.EFCore.Batch是一个支持在Entity Framework Core中高效删除和更新数据的开源库。我们知道，EF Core中不支持高效的删除和更新数据，所有的更新和操作都是逐条数据处理。比如，如果使用如下的语句删除实现“删除所有价格大于10元的书“：

ctx.RemoveRange(ctx.Books.Where(b=> b.Price > 33))

那么，EntityFramework Core会先执行Select * from books where price>33，然后再对于每一条数据执行delete from books where id=@id进行删除。EF Core中批量数据的更新原理也是类似。因此在EF Core中进行大量数据的批量删除、更新效率是比较低的。

为了能够实现 “一句SQL实现数据的删除、更新“，我开发了开源项目Zack.EFCore.Batch，这个开源项目实现了如下批量删除的写法：

await ctx.DeleteRangeAsync<Book>(b => b.Price > n || b.AuthorName =="zack yang");

 上面的C#代码就会执行如下的SQL语句，从而实现“一句SQL删除数据“的效果：

Delete FROM[T_Books] WHERE ([Price] > @__p_0) OR ([AuthorName] = @__s_1)

  这个开源项目使用EF Core实现SQL语句的翻译，因此只要EF Core支持的数据库，对应的Linq操作都可以实现翻译成对应的方言SQL，比如下面的批量更新操作的Linq代码：

await ctx.BatchUpdate<Book>()
   .Set(b => b.Price, b => b.Price + 3)
   .Set(b => b.Title, b => s)
   .Set(b =>b.AuthorName,b=>b.Title.Substring(3,2)+b.AuthorName.ToUpper())
   .Set(b => b.PubTime, b => DateTime.Now)
   .Where(b => b.Id > n || b.AuthorName.StartsWith("Zack"))
.ExecuteAsync();

 在SQL Server数据库下就会翻译成一条Update语句，如下：

Update [T_Books]SET [Price] = [Price] + 3.0E0, [Title] = @__s_1, [AuthorName] =COALESCE(SUBSTRING([Title], 3 + 1, 2), N'') + COALESCE(UPPER([AuthorName]),N''), [PubTime] = GETDATE()
WHERE ([Id] >@__p_0) OR ([AuthorName] IS NOT NULL AND ([AuthorName] LIKE N'Zack%'))

 经历用户几个月的使用和反馈issue，目前项目已经升级到1.4.3版，支持SQLServer、mysql、PostgreSQL、Oracle、SQLite数据库。理论上来讲，只要EF Core支持的数据库，Zack.EFCore.Batch都可以支持。如果您有其他数据库需要支持，请和我联系。

除了已有的特性之外，Zack.EFCore.Batch新版增加了如下特性。

 

特性一、基于实体关系的数据过滤

    在过滤条件中支持实体之间的关系。例如：

ctx. DeleteRangeAsync<Article>(a=>a.Comments.Any(c=>c.Message.Contains(“History”))
||a.Author.BirthDay.Year<2000);

 特性二、支持数据的批量插入

可以用如下的方式进行高效的批量插入：

List<Book> books = new List<Book>();
for (int i = 0; i < 100; i++)
{
       books.Add(newBook { AuthorName = "abc" + i, Price = new Random().NextDouble(),PubTime = DateTime.Now, Title = Guid.NewGuid().ToString() });
}
using (TestDbContext ctx = newTestDbContext())
{
       ctx.BulkInsert(books);
}

       BulkInsert()底层使用各个数据库的BulkCopy机制实现数据插入，因此插入效率非常高。目前有如下两个缺点：不支持关联数据的自动插入，对于关联的对象，请同样调用BulkInsert()进行插入；由于PostgreSQL的.NET Core Provider还没有支持BulkCopy，所以目前Zack.EFCore.Batch暂不支持PostgreSQL，我后面再去想办法解决。

 

特征三、支持Take()、Skip()来限制删除和更新数据的范围

       批量删除和批量更新都支持通过Take()、Skip()来实现部分删除和部分更新，例子代码如下：

await ctx.Comments.Where(c =>c.Article.Id == id).Skip(3)
.DeleteRangeAsync<Comment>(ctx);
await ctx.Comments.Where(c =>c.Article.Id == id).Skip(3).Take(10)
.DeleteRangeAsync<Comment>(ctx);
await ctx.Comments.Where(c =>c.Article.Id == id).Take(10)
.DeleteRangeAsync<Comment>(ctx);
 
awaitctx.BatchUpdate<Comment>().Set(c => c.Message, c => c.Message +"abc")
       .Where(c=> c.Article.Id == id)
       .Skip(3)
       .ExecuteAsync();
 
await ctx.BatchUpdate<Comment>().Set(c=> c.Message, c => c.Message + "abc")
       .Where(c=> c.Article.Id == id)
       .Skip(3)
       .Take(10)
       .ExecuteAsync();
awaitctx.BatchUpdate<Comment>().Set(c => c.Message, c => c.Message +"abc")
  .Where(c => c.Article.Id == id)
  .Take(10)
  .ExecuteAsync();

 

具体用法请访问开源项目地址：

https://github.com/yangzhongke/Zack.EFCore.Batch

NuGet地址：https://www.nuget.org/packages/Zack.EFCore.Batch/