EFCore.BulkExtensions 简介
EntityFrameworkCore扩展:批量操作(插入,更新,删除,读取,更新,同步)和批处理(删除,更新)。
库是轻量级的,并且非常高效,具有所有最常用的CRUD操作。
在Microsoft推荐的EFcore扩展 Top 20。
当前版本使用的是EF Core 3.1,目前支持Microsoft SQL Server(2008+)和SQLite。
它针对NetStandard 2.0,因此可以用于针对NetCore(2.0+)或NetFramework(4.6.1+)的项目。
3.1.0和3.0.0之间的版本使用的是EF Core 3.0,并且以NetStandard 2.1为目标,因此只能在NetCore(3.0+)上使用。
3.0之前的版本(最后2.6.4)针对NetStandard 2.0,可以与NetCore(2.2)或NetFramework(4.6.1+)一起使用。
EFCore / v.Nuget:EFCore2.1 / v2.4.1 EFCore2.0 / v2.0.8,对于EF Core 1.x,请使用1.1.0(以NetStandard 1.4为目标)
请使用SqlBulkCopy进行插入,更新/删除合并具有原始Sql的 MERGE BulkInsert 。
对于SQLite,没有BulkCopy,而是库将普通SQL与UPSERT结合使用。
批量测试不能具有UseInMemoryDb,因为InMemoryProvider不支持特定于关系的方法。
在新版nuget上,用软件包管理器控制台命令安装:
Install-Package EFCore.BulkExtensions
用法
用法非常简单明了。
批量扩展是在DbContext类上进行的,可以像这样使用(支持常规和异步方法):
context.BulkInsert(entitiesList); context.BulkInsertAsync(entitiesList);
context.BulkUpdate(entitiesList); context.BulkUpdateAsync(entitiesList);
context.BulkDelete(entitiesList); context.BulkDeleteAsync(entitiesList);
context.BulkInsertOrUpdate(entitiesList); context.BulkInsertOrUpdateAsync(entitiesList); //Upsert
context.BulkInsertOrUpdateOrDelete(entitiesList); context.BulkInsertOrUpdateOrDeleteAsync(entitiesList); //Sync
context.BulkRead(entitiesList); context.BulkReadAsync(entitiesList);
context.Truncate(); context.TruncateAsync();
批处理扩展是在IQueryable DbSet上进行的,可以在以下代码段中使用。
它们以纯sql的形式完成,并且不检查某些对象是否已预先装入内存并被跟踪。(updateColumns是可选参数,其中的PropertyNames在我们需要更新为其默认值时明确添加)
// Delete
context.Items.Where(a => a.ItemId > 500).BatchDelete();
context.Items.Where(a => a.ItemId > 500).BatchDeleteAsync();
// Update (using Expression arg.) supports Increment/Decrement
context.Items.Where(a => a.ItemId <= 500).BatchUpdate(a => new Item { Quantity = a.Quantity + 100 });
// can be as value '+100' or as variable '+incrementStep' (int incrementStep = 100;)
// Update (via simple object)
context.Items.Where(a => a.ItemId <= 500).BatchUpdate(new Item { Description = "Updated" });
context.Items.Where(a => a.ItemId <= 500).BatchUpdateAsync(new Item { Description = "Updated" });
// Update (via simple object) - requires additional Argument for setting to Property default value
var updateColumns = new List { nameof(Item.Quantity) }; // Update 'Quantity' to default value('0'-zero)
var q = context.Items.Where(a => a.ItemId <= 500);
int affected = q.BatchUpdate(new Item { Description = "Updated" }, updateColumns);//result assigned to variable
批量操作
直接使用这些操作时,每个操作都是独立的事务,并且会自动提交。
如果我们需要在单个过程中执行多个操作,则应使用显式事务,例如:
using (var transaction = context.Database.BeginTransaction())
{
context.BulkInsert(entitiesList);
context.BulkInsert(subEntitiesList);
transaction.Commit();
}
对于SQLite,BulkConfig中还有其他属性:{SqliteConnection,SqliteTransaction}通过以下方式使用显式事务:
using (var connection = (SqliteConnection)context.Database.GetDbConnection())
{
connection.Open();
using (var transaction = connection.BeginTransaction())
{
var bulkConfig = new BulkConfig() { SqliteConnection = connection, SqliteTransaction = transaction };
context.BulkInsert(entities, bulkConfig);
context.BulkInsert(subEntities, bulkConfig);
transaction.Commit();
}
}
当需要进行两项操作但与数据库建立一个连接时,可以使用BulkInsertOrUpdate方法。
当PK(PrimaryKey)匹配时,它进行更新,否则插入。
BulkInsertOrUpdateOrDelete有效地将表行与输入数据同步。
在列表中找不到的Db中的那些将被删除。
BulkRead根据Config中指定的一个或多个“唯一”列进行SELECT和JOIN UpdateByProperties。
性能
以下是性能(对于SQL Server以秒为单位):
Operations\Rows
100,000 EF
100,000 EFBulk
1,000,000 EFBulk
Insert
38.98 s
2.10 s
17.99 s
Update
109.25 s
3.96 s
31.45 s
Delete
7.26 s
2.04 s
12.18 s
—————–
————
—————-
——————
Together
70.70 s
5.88 s
56.84 s
TestTable有6列(Guid,string,string,int,decimal?,DateTime)。
全部插入,其中2个(字符串,DateTime)已更新。
测试是在以下配置下本地完成的:INTEL Core i5-3570K 3.40GHz,DDRIII 8GB x 2,SSD 840 EVO 128 GB。
对于小型数据集,这会产生开销,因为大多数Bulk op都需要创建Temp表并在完成后将其删除。最好的建议是将Bulk ops用于大于1000的集合。
EFCore.BulkExtensions
https://github.com/borisdj/EFCore.BulkExtensions