当前位置: 首页 > 编程笔记 >

.NET Core实现分表分库、读写分离的通用 Repository功能

祖迪
2023-03-14
本文向大家介绍.NET Core实现分表分库、读写分离的通用 Repository功能,包括了.NET Core实现分表分库、读写分离的通用 Repository功能的使用技巧和注意事项,需要的朋友参考一下

首先声明这篇文章不是标题党,我说的这个类库是 FreeSql.Repository,它作为扩展库现实了通用仓储层功能,接口规范参考 abp vnext 定义,实现了基础的仓储层(CURD)。

安装

dotnet add package FreeSql.Repository

可用于:.net framework 4.6+、.net core 2.1+

定义
var fsql = new FreeSql.FreeSqlBuilder()
 .UseConnectionString(FreeSql.DataType.Sqlite, @"Data Source=|DataDirectory|\document.db;Pooling=true;Max Pool Size=10")
 .UseLogger(loggerFactory.CreateLogger<IFreeSql>())
 .UseAutoSyncStructure(true) //自动迁移实体的结构到数据库
 .Build();

过滤与验证

假设我们有User(用户)、Topic(主题)两个实体,在某领域类中定义了两个仓储:

var userRepository = fsql.GetGuidRepository<User>();
var topicRepository = fsql.GetGuidRepository<Topic>();

开发过程中,我总会担心 topicRepository 的数据安全问题,即有可能查询或操作到其他用户的主题。因此在v0.0.7版本进行了改进,增加了 filter lambad 表达式参数。

var userRepository = fsql.GetGuidRepository<User>(a => a.Id == 1);
var topicRepository = fsql.GetGuidRepository<Topic>(a => a.UserId == 1);
  • 在查询/修改/删除时附加此条件,从而达到不会修改其他用户的数据;
  • 在添加时,使用表达式验证数据的合法性,若不合法则抛出异常

有朋友说这个功能像 abp 的租户,但这是更小单位的过滤+验证,确保数据安全。
有朋友说这个功能省事,但我觉得是省心。

分表与分库

GuidRepository 作为分存式仓储将实现了分表与分库(不支持跨服务器分库)的封装类。

var logRepository = fsql.GetGuidRepository<Log>(null, oldname => $"{oldname}_{DateTime.Now.ToString("YYYYMM")}");

上面我们得到一个日志仓储实例按年月分表,使用它 CURD 最终会操作 Log_201903 表。

注意:虽然 FreeSql 支持 CodeFirst 迁移,但不提供迁移分表,开发环境中仍然可以迁移 Log 表。

读写分离

FreeSql 支持数据库读写分离,本功能是客户端的读写分离行为,数据库服务器该怎么配置仍然那样配置,不受本功能影响,为了方便描术后面讲到的【读写分离】都是指客户端的功能支持。

各种数据库的读写方案不一,数据库端开启读写分离功能后,读写分离的实现大致分为以下几种:

1、nginx代理,配置繁琐且容易出错;

2、中件间,如MySql可以使用MyCat,但是其他数据库怎么办?

3、在client端支持;

FreeSql 实现了第3种方案,支持一个【主库】多个【从库】,【从库】的查询策略为随机方式。

若某【从库】发生故障,将切换到其他可用【从库】,若已全部不可用则使用【主库】查询。

出现故障【从库】被隔离起来间隔性的检查可用状态,以待恢复。以 mysql 为例:

var connstr = "Data Source=127.0.0.1;Port=3306;User ID=root;Password=root;" + 
 "Initial Catalog=cccddd;Charset=utf8;SslMode=none;Max pool size=10";

IFreeSql fsql = new FreeSql.FreeSqlBuilder()
 .UseConnectionString(FreeSql.DataType.MySql, connstr)
 .UseSlave("connectionString1", "connectionString2") //使用从数据库,支持多个
 .Build();

select.Where(a => a.Id == 1).ToOne(); //读【从库】(默认)
select.Master().WhereId(a => a.Id == 1).ToOne(); //强制读【主库】
其他特性
  • [x] 支持 CodeFirst 迁移;
  • [x] 支持 DbFirst 从数据库导入实体类,支持三种模板生成器;
  • [x] 采用 ExpressionTree 高性能读取数据;
  • [x] 支持深入的类型映射,比如pgsql的数组类型;
  • [x] 支持丰富的表达式函数;
  • [x] 支持导航属性查询,和延时加载;
  • [x] 支持同步/异步数据库操作方法,丰富多彩的链式查询方法;
  • [x] 支持读写分离、分表分库;
  • [x] 支持多种数据库,MySql/SqlServer/PostgreSQL/Oracle/Sqlite;
结束语

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对小牛知识库的支持。

 类似资料:
  • 本文向大家介绍Springboot + Mysql8实现读写分离功能,包括了Springboot + Mysql8实现读写分离功能的使用技巧和注意事项,需要的朋友参考一下 在实际的生产环境中,为了确保数据库的稳定性,我们一般会给数据库配置双机热备机制,这样在master数据库崩溃后,slave数据库可以立即切换成主数据库,通过主从复制的方式将数据从主库同步至从库,在业务代码中编写代码实现读写分离(

  • 前言 我们都知道当单库系统遇到性能瓶颈时,读写分离是首要优化手段之一。因为绝大多数系统读的比例远高于写的比例,并且大量耗时的读操作容易引起锁表导致无发写入数据,这时读写分离就更加重要了。 EF Core如何通过代码实现读写分离,我们可以搜索到很多案例。总结起来一种方法是注册一个DbContextFactory,读操作注入ReadDcontext,写操作注入WriteDbcontext;另外一种是动

  • 从1.r.58开始, 内置读写分离支持 ioc js形式的配置 NutDaoRunner新增了slaveDataSource属性 dataSource : { // master数据源 }, slaveDataSource : { // slave数据源,负责读 }, dao : { type : "org.

  • 在ReplicaSet副本集环境中,可以通过bugu-mongo设置读写分离。 默认情况下,写操作、读操作,全部都是在Primary上进行,如下图,这可能会导致Primary的负载比较高。 为了降低Primary的负载,可以设置成允许从Secondary读取数据,如下图: 慎重考虑 读写分离,看上去很美,但实际有如下问题需要考虑: 一般情况下,并不建议对ReplicaSet进行读写分离。因为,对于

  • ReplicaLoadBalanceAlgorithm SPI 名称 详细说明 ReplicaLoadBalanceAlgorithm 读库负载均衡算法 已知实现类 详细说明 RoundRobinReplicaLoadBalanceAlgorithm 基于轮询的读库负载均衡算法 RandomReplicaLoadBalanceAlgorithm 基于随机的读库负载均衡算法

  • 配置项说明 命名空间:http://shardingsphere.apache.org/schema/shardingsphere/readwrite-splitting/readwrite-splitting-5.0.0.xsd <readwrite-splitting:rule /> 名称 类型 说明 id 属性 Spring Bean Id data-source-rule (+) 标签 读