为什么是Spring的jdbcTemplate。batchUpdate（）这么慢？

Question

我正试图找到更快的批量插入方法。

我试图用jdbcTemplate.update（String sql）插入几个批次，其中sql是由StringBuilder构建的，看起来像：

INSERT INTO TABLE(x, y, i) VALUES(1,2,3), (1,2,3), ... , (1,2,3)

批量大小正好是1000。我插入了将近100批。我用秒表查看了时间，发现了插入时间：

min[38ms], avg[50ms], max[190ms] per batch

我很高兴，但我想让我的代码更好。

之后，我尝试使用jdbcTemplate.batch更新的方式如下：

    jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
        @Override
        public void setValues(PreparedStatement ps, int i) throws SQLException {
                       // ...
        }
        @Override
        public int getBatchSize() {
            return 1000;
        }
    });

sql是什么样子的

INSERT INTO TABLE(x, y, i) VALUES(1,2,3);

我很失望！jdbcTemplate以单独的方式批量执行1000行的每一次插入。我在mysql_日志中找到了上千个插入。我用秒表查看了时间，发现了插入时间：

每批最低[900ms]，平均[1100ms]，最高[2000ms]

那么，有谁能向我解释一下，为什么jdbcTemplate会在这种方法中进行单独的插入？为什么方法的名称是batchUpdate？或者可能是我用错了这个方法？

Answer 1

我在使用Spring JDBC模板时也遇到了同样的问题。可能在SpringBatch中，语句在每次插入或块上执行和提交，这会减慢速度。

我已经替换了JDBC模板。batchUpdate（）代码与原始JDBC批插入代码进行了比较，并发现了主要的性能改进。

DataSource ds = jdbcTemplate.getDataSource();
Connection connection = ds.getConnection();
connection.setAutoCommit(false);
String sql = "insert into employee (name, city, phone) values (?, ?, ?)";
PreparedStatement ps = connection.prepareStatement(sql);
final int batchSize = 1000;
int count = 0;

for (Employee employee: employees) {

    ps.setString(1, employee.getName());
    ps.setString(2, employee.getCity());
    ps.setString(3, employee.getPhone());
    ps.addBatch();

    ++count;

    if(count % batchSize == 0 || count == employees.size()) {
        ps.executeBatch();
        ps.clearBatch(); 
    }
}

connection.commit();
ps.close();

检查此链接以及JDBC批插入性能

Answer 2

我发现了一个主要的改进，在调用中设置argTypes数组。

在我的例子中，使用Spring 4.1.4和Oracle 12c，插入5000行和35个字段：

jdbcTemplate.batchUpdate(insert, parameters); // Take 7 seconds

jdbcTemplate.batchUpdate(insert, parameters, argTypes); // Take 0.08 seconds!!!

argTypes参数是一个int数组，您可以通过以下方式设置每个字段：

int[] argTypes = new int[35];
argTypes[0] = Types.VARCHAR;
argTypes[1] = Types.VARCHAR;
argTypes[2] = Types.VARCHAR;
argTypes[3] = Types.DECIMAL;
argTypes[4] = Types.TIMESTAMP;
.....

我调试了org\springFramework\jdbc\core\JdbcTemplate.java，发现大部分时间都花在试图了解每个字段的性质上，这是为每个记录制作的。

希望这有帮助！

Answer 3

JDBC连接URL中的这些参数可以大大提高批处理语句的速度——根据我的经验，它们可以加快速度：

?UseServerPrepsmts=false

请参阅：JDBC批插入性能