如何使用Spring MySQL和RowCallbackHandler管理大型数据集

Question

我正在尝试使用Spring和JdbcTemplate遍历MySQL中表的每一行。如果我没记错的话，它应该很简单：

JdbcTemplate template = new JdbcTemplate(datasource);
template.setFetchSize(1);
// template.setFetchSize(Integer.MIN_VALUE) does not work either            
template.query("SELECT * FROM cdr", new RowCallbackHandler() {
  public void processRow(ResultSet rs) throws SQLException {
    System.out.println(rs.getString("src"));
  }
});

我收到一个OutOfMemoryError，因为它试图读取整个内容。有任何想法吗？

Answer 1

在Statement#setFetchSize()
javadoc中已经指出：

向JDBC驱动程序 提示 应从数据库中获取的行数

驱动程序实际上可以自由地应用或忽略提示。一些驱动程序忽略它，一些驱动程序直接应用它，一些驱动程序需要更多参数。MySQL
JDBC驱动程序属于最后一类。如果查看MySQL
JDBC驱动程序文档
，将看到以下信息（向下滚动约2/3，直到标题 ResultSet 为止）：

要启用此功能，您需要按以下方式创建一个Statement实例：

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,

java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

请阅读文档的 整个 部分，它也描述了这种方法的注意事项。

为了使其在Spring中工作，您需要使用自定义实现扩展/覆盖JdbcTemplate。由于我不从事Spring工作，因此无法对此进行详细介绍，但是现在您至少知道要看的地方了。

祝好运。