将具有数百万条记录的表从一个数据库复制到另一个数据库-Spring Boot Spring JDBC

Question

在一个小例子中，我们必须将数以百万计的记录从teradata数据库复制到Oracle DB。

环境：Spring Boot Spring JDBC（jdbcTemplate）Spring REST Spring调度程序Maven Oracle Teradata

使用Spring JDBC的batchUpdate将数据插入目标数据库Oracle。

在源数据库的SQL查询中使用teradata的“前1000名”。

fecthDataResults = repository.queryForList(
                "select top 1000 A, B, C, D, E from " + schemaName + ".V_X");

从视图“V_X”进行查询。

该视图有4000万条记录，如果spring boot应用程序运行，它将阻塞。

还插入目标Oracle数据库中的两个表（主表和备份表）。

获取和加载/复制4000万条记录的最佳方法是什么？确保成功地将其复制到两个表中。

Spring Scheduler在指定的时间/间隔安排批处理副本。Spring Rest手动调用复制-两者都已实现。

如有任何建议，将不胜感激。

谢谢。

Answer 1

根据您提供的信息，并遵循所选择的堆栈，我认为您有两种可能性，首先使用spring batch和spring batch admin或spring integration创建一个项目来处理rest。事实上，第二个使用了Spring XD的大数据概念中的第一个解决方案。我建议您使用探查器尽可能提高性能。

Answer 2

有不同的方法可以解决这个问题：

>

Logstash方法-指定源数据和目标数据，并将数据加载到两个目标数据库。它有cron支持，logstash可以根据时间表运行。速度相当快。您可以指定每次要获取多少行。

使用ETL工具。如果你有合适的生态系统，你可以选择任何开源版本。Talend是一个很好的候选人，你可以设计你的工作，并导出为runnable Jar。您可以使用自己选择的任何组件来安排这项工作。

Spring Batch。请参阅此问题。Spring RESTful Web服务-大容量数据处理

Spring Cloud数据流或Spring Boot，MQ作为数据源之间的中间存储。您可能必须引入消息队列来处理故障转移、回退机制。高度可靠，可以以异步方式实现。

我个人的意见是使用Logstash。如果你觉得上述任何解决方案有意义。如果你愿意，我可以详细说明。