如何利用Java高效编制大数据映射表

Question

考虑我有两个表的场景，table_a和table_b。我想创建第三个表table_c，它只是一个包含两列的映射表，table_a和table_b的主键。表A和表B分别包含8000万条和1.5亿条记录。目前，我在DB2（即我的DB）中编写了一个存储过程，它将首先连接和选择两个表中的记录，并使用游标进行迭代。在这个迭代过程中，我将插入到第三个表中，并执行一个中间提交。

现在，这个存储过程运行了很长时间（大约5小时）来完成这个操作，因为在DB2存储过程中不可能插入多行（这是我所理解的）。通过一次获取记录并使用JDBC批处理从Java中插入，这样插入将在多行中工作，是否可以将其移到Java中。但是如何在Java中保存如此大的结果集而不获取OutOfMemoryError

谁能提出最好的方法。

更新：

DECLARE GLOBAL TEMPORARY TABLE  SESSION.TABLE_DGTT AS (
    select a.type_id as type_id,
            a.a_id as a_id,
           b.b_id as b_id
    from TABLE_A a
    inner join TABLE_B b on
    AND b.process_date = i_order_date
    AND b.tgt_date = CASE WHEN 
             a.tgt_date < i_order_date 
             THEN i_order_date ELSE a.tgt_date END
    where not exists ( select 1 from TABLE_C c where 
    a.type_id = c.type_id
    AND a.a_id = c.a_id) 
    AND a.process_date <= i_order_date  
    )                                      
    WITH NO DATA NOT LOGGED ON COMMIT PRESERVE ROWS ;  
    
    DECLARE C1 CURSOR FOR SELECT * FROM SESSION.TABLE_DGTT;
    
    LOAD FROM C1 OF CURSOR INSERT INTO TABLE_C NONRECOVERABLE;

Answer 1

值得尝试使用ADMIN_CMD过程的LOAD命令，使用基于SELECT语句的游标，使用源表。它适用于大型数据加载。
如果您不熟悉加载实用工具，请使用nonrecoverable选项。最好阅读加载选项以了解其副作用。