当前位置: 首页 > 编程笔记 >

谈谈Spring Boot 数据源加载及其多数据源简单实现(小结)

房项禹
2023-03-14
本文向大家介绍谈谈Spring Boot 数据源加载及其多数据源简单实现(小结),包括了谈谈Spring Boot 数据源加载及其多数据源简单实现(小结)的使用技巧和注意事项,需要的朋友参考一下

业务需求

  • 提供所有微服务数据源的图形化维护功能
  • 代码生成可以根据选择的数据源加载表等源信息
  • 数据源管理要支持动态配置,实时生效

附录效果图


实现思路

本文提供方法仅供类似简单业务场景,在生产环境和复杂的业务场景 请使用分库分表的中间件(例如mycat)或者框架 sharding-sphere (一直在用)等

先来看Spring 默认的数据源注入策略,如下代码默认的事务管理器在初始化时回去加载数据源实现。这里就是我们动态数据源的入口

// 默认的事务管理器
ppublic class DataSourceTransactionManager extends AbstractPlatformTransactionManager
  implements ResourceTransactionManager, InitializingBean {
 
 // 启动时候注入一个数据源
 public void setDataSource(@Nullable DataSource dataSource) {
  if (dataSource instanceof TransactionAwareDataSourceProxy) {
   this.dataSource = ((TransactionAwareDataSourceProxy) dataSource).getTargetDataSource();
  }
  else {
   this.dataSource = dataSource;
  }
 }
」

通过注入一个新的DataSourceTransactionManager 实现,并且给它设置多个 DataSource 来实现多数据源实现

看下Spring 默认提供的路由数据源字段

public abstract class AbstractRoutingDataSource extends AbstractDataSource implements InitializingBean {
 
 // 用户设置的全部的数据源配置
 @Nullable
 private Map<Object, Object> targetDataSources;
 // 为空默认的数据源配置
 @Nullable
 private Object defaultTargetDataSource;
 
 // 路由键查找实现
 private DataSourceLookup dataSourceLookup = new JndiDataSourceLookup();
 
 // 最终有效的数据源配置(一般清空对应上边用户的设置)
 @Nullable
 private Map<Object, DataSource> resolvedDataSources;
}

开始动手

实现AbstractRoutingDataSource,定一个动态数据源实现,只需要实现他的路由key 查找方法即可。

这里的路由key 对应其实是resolvedDataSources Map 的key哟

@Slf4j
public class DynamicDataSource extends AbstractRoutingDataSource {

 /**
  * 指定路由Key,这里很简单 获取 threadLocal 中目标key 即可
  *
  * @return
  */
 @Override
 protected Object determineCurrentLookupKey() {
  return DynamicDataSourceContextHolder.getDataSourceType();
 }
}

把我们动态数据源实现注入到Spring 的事务管理器,去数据库查询出来全部的数据源信息,定义一个个具体的数据源实现 我这里使用的HikariDataSource 给他赋值等等

@Slf4j
@Configuration
@AllArgsConstructor
public class DynamicDataSourceConfig implements TransactionManagementConfigurer {
 private final Map<Object, Object> dataSourceMap = new HashMap<>(8);
 private final DataSourceProperties dataSourceProperties;

 @Bean("dynamicDataSource")
 public DynamicDataSource dataSource() {
  JdbcTemplate(dds).queryForList(DataSourceConstant.QUERY_DS_SQL);
  log.info("开始 -> 初始化动态数据源");
  Optional.of(dbList).ifPresent(list -> list.forEach(db -> {
   log.info("数据源:{}", db.get(DataSourceConstant.DS_NAME));
   HikariDataSource ds = new HikariDataSource();
   dataSourceMap.put(db.get(DataSourceConstant.DS_ROUTE_KEY), ds);
  }));
  
  DynamicDataSource ds = new DynamicDataSource();
  ds.setTargetDataSources(dataSourceMap);
  return ds;
 }

 @Bean
 public PlatformTransactionManager txManager() {
  return new DataSourceTransactionManager(dataSource());
 }

 @Override
 public PlatformTransactionManager annotationDrivenTransactionManager() {
  return txManager();
 }

}

怎么使用

只需要根据用户前台选择的数据源key ,在业务类保存到TTL 即可,会自动根据选择路由数据源

DynamicDataSourceContextHolder.setDataSourceType(key)

这里当然也可以根据AOP 自定义注解等实现。

如何动态数据源动态配置

上边其实已经完成了 我们想要的需求功能,但是有什么问题呢?
我们在数据源管理面维护了数据源,动态去修改这个 dataSourceMap 其实是无效的,不能做到实时刷新

我们来看下 AbstractRoutingDataSource 的加载map 数据源的源码,只有在初始化的时候调用 afterPropertiesSet 去初始数据源map.

那我们只要获取当前的DynamicDataSource bean 手动调用afterPropertiesSet 即可。

整个代码如下

public class DynamicDataSourceConfig implements TransactionManagementConfigurer {
 private final Map<Object, Object> dataSourceMap = new HashMap<>(8);
 private final DataSourceProperties dataSourceProperties;
 private final StringEncryptor stringEncryptor;

 @Bean("dynamicDataSource")
 public DynamicDataSource dataSource() {
  DynamicDataSource ds = new DynamicDataSource();
  HikariDataSource cads = new HikariDataSource();
  cads.setJdbcUrl(dataSourceProperties.getUrl());
  cads.setDriverClassName(dataSourceProperties.getDriverClassName());
  cads.setUsername(dataSourceProperties.getUsername());
  cads.setPassword(dataSourceProperties.getPassword());
  ds.setDefaultTargetDataSource(cads);
  dataSourceMap.put(0, cads);
  ds.setTargetDataSources(dataSourceMap);
  return ds;
 }

 /**
  * 组装默认配置的数据源,查询数据库配置
  */
 @PostConstruct
 public void init() {
  DriverManagerDataSource dds = new DriverManagerDataSource();
  dds.setUrl(dataSourceProperties.getUrl());
  dds.setDriverClassName(dataSourceProperties.getDriverClassName());
  dds.setUsername(dataSourceProperties.getUsername());
  dds.setPassword(dataSourceProperties.getPassword());

  List<Map<String, Object>> dbList = new JdbcTemplate(dds).queryForList(DataSourceConstant.QUERY_DS_SQL);
  log.info("开始 -> 初始化动态数据源");
  Optional.of(dbList).ifPresent(list -> list.forEach(db -> {
   log.info("数据源:{}", db.get(DataSourceConstant.DS_NAME));
   HikariDataSource ds = new HikariDataSource();
   ds.setJdbcUrl(String.valueOf(db.get(DataSourceConstant.DS_JDBC_URL)));
   ds.setDriverClassName(Driver.class.getName());
   ds.setUsername((String) db.get(DataSourceConstant.DS_USER_NAME));

   String decPwd = stringEncryptor.decrypt((String) db.get(DataSourceConstant.DS_USER_PWD));
   ds.setPassword(decPwd);
   dataSourceMap.put(db.get(DataSourceConstant.DS_ROUTE_KEY), ds);
  }));

  log.info("完毕 -> 初始化动态数据源,共计 {} 条", dataSourceMap.size());
 }

 /**
  * 重新加载数据源配置
  */
 public Boolean reload() {
  init();
  DynamicDataSource dataSource = dataSource();
  dataSource.setTargetDataSources(dataSourceMap);
  dataSource.afterPropertiesSet();
  return Boolean.FALSE;
 }


 @Bean
 public PlatformTransactionManager txManager() {
  return new DataSourceTransactionManager(dataSource());
 }

 @Override
 public PlatformTransactionManager annotationDrivenTransactionManager() {
  return txManager();
 }

以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。

 类似资料:
  • 本文向大家介绍简单谈谈MySQL数据透视表,包括了简单谈谈MySQL数据透视表的使用技巧和注意事项,需要的朋友参考一下 我有一张这样的产品零件表: 部分 我想要一个返回如下表格的查询: 在实际实施中,将有数百万个产品部件 最佳答案 不幸的是,MySQL没有PIVOT功能,但您可以使用聚合函数和CASE语句对其进行建模.对于动态版本,您需要使用预准备语句: 如果您只有几列,那么您可以使用静态版本:

  • 本文向大家介绍简单谈谈js的数据类型,包括了简单谈谈js的数据类型的使用技巧和注意事项,需要的朋友参考一下 近期做一些项目的时候发现,自己的js基础还是不够扎实,再看一遍犀牛书,加深自己的理解和印象。所以从这篇文章开始,后面都是关于原生js的一些内容。 这篇文章,我们具体介绍一下js的数据类型其中一种。 一、javaScript(以下简称js)的数据类型分为两类:原始类型和对象类型。js的原始类型

  • 我正在尝试使用两个数据源与我的SpringBoot应用程序,但无法获得第二个数据源自动连接。我尝试过很多事情,但这是我最接近的一次: 我的Yaml文件: 这是我到目前为止最接近的一次。我之所以说它是最接近的,是因为如果我删除@qualifier,那么我的两个dao方法实际上都可以工作,假设SECOND_SELECT语句对于我的DB1是有效的SQL语句。当我为非主datasouce输入@Qualif

  • 本文向大家介绍简单谈谈Vue 模板各类数据绑定,包括了简单谈谈Vue 模板各类数据绑定的使用技巧和注意事项,需要的朋友参考一下 『天下武功,唯快不破』√,这一直是对武学造诣方面的追捧,虽然对于这个丝毫不会;更是对待现实工作不懈渴求,乃至苛求。因为这已不是遁隐修行,而是职场卖命,唯有先快速解决需求,方能攫取更为充盈的时间去深究技术机理,以使臻于更强,更强而优于快,如此优良循环得以形成。言归正传,作为

  • 本文向大家介绍简单谈谈PHP中strlen 函数,包括了简单谈谈PHP中strlen 函数的使用技巧和注意事项,需要的朋友参考一下 strlen函数说明。 int strlen ( string $string ) 在这篇文章,我们可以知道strlen函数是通过Zend Engine定义的。函数的定义可以在这里查看。 在这里也给出函数的源码: 该文章讲到,该函数很简单,并不需要进一步的解释。而这篇

  • 我在运行我的spring boot项目时遇到了一个问题: 我使用Vaadin来实现UI,使用Maven来实现Dependecies。该数据库是一个MySQL数据库,我严格按照(https://spring.io/guides/gs/accessing-data-mysql/)的说明进行了操作。 说明: 行动: 考虑重新考虑上面的条件,或者在配置中定义一个类型为'javax.sql.DataSour