优化oracle jdbc批插入

Question

我需要使用JDBC在Oracle数据库中进行大量插入，即两位数百万。为此，我使用了类似于以下类的东西，灵感来自使用JDBC进行批处理插入的高效方法：

public class Inserter {
    private final int batchSize;
    private final Connection con; // with .setAutoCommit(false)
    private final PreparedStatement ps;
    private int currentSize = 0;

    public Inserter(Connection con, PreparedStatement ps, int batchSize) {
        this.con = con;
        this.ps = ps;
        this.batchSize = batchSize;
    }

    public void addInsert(Object[] vals) throws SQLException {
        ps.clearParameters(); // should be redundant, but better safe than sorry
        for (int i = 0; i < val.length; i++) {
            this.ps.setObject(i + 1, vals[i]);
        }
        ps.addBatch();
        currentSize++;

        if (currentSize >= batchSize) {
            ps.executeBatch();
            currentSize = 0;
        }
    }

    public void flush() {/** to flush leftovers */}
}

虽然这种插入方式很好，但速度非常慢。JDBC batch insert performance描述了MySQL基本上可以解决这个问题，因为rewriteBatchedStatements在Oracle上似乎不存在，但在这里没有太大帮助。

为了提高性能，我还尝试将语句切换为一个大的INSERT ALL /插入附加 语句，根据Oracle11g，这是插入多行的最有效的方法，这使一切变得更加缓慢。

因此，我的问题是，除了简单地使用addBatch（）和executeBatch（）之外，还有什么方法可以优化这些插入？或者在上面的插入器类中是否存在一些严重的、低效的错误？任何帮助都将不胜感激。

更有用的信息：

>

表上有一个唯一的约束，看起来像这样的unique（id1、id2、id3、id4），其中所有列的类型都是NUMBER，并通过外键约束进一步绑定到其他表中的主键。

编辑：

根据评论中的建议，我将setObject（index， val）调用切换为：

>

setInt（index，val），setFloat（index，val），，setNull（索引，类型）在适当的位置调用

setObject（index，val，type）和setNull（index，typR）

两个版本都没有显著提高性能。

此外，我还尝试在没有任何约束的情况下将数据插入临时表，这也没有带来更好的性能。

相比之下，将数据导出到CSV并使用SQL*Loader加载它会显着提高性能，即~4.5k=

这让我相信，瓶颈在于JDBC。

1唉，在我的特殊情况下，使用SQL*Loader不是一个（理想的）选项




Answer 1

你永远不会把这批货交出来。如果可以在executeBatch之后添加commit，那么如果查询未提交，您将创建大的回滚段，这会降低数据库的速度。还要删除ps.clearParameters（），因为您总是覆盖所有参数或不覆盖任何参数。最好使用setter的专用版本，而不是setObject