一次以固定数量的结果流式传输MySql ResultSet

Question

我有包含1600万条记录的MySql表，由于某些迁移工作，我正在读取整个Mysql表。

以下代码用于在MySql中流式传输大型ResultSet

        statement = connection.createStatement(
                java.sql.ResultSet.TYPE_FORWARD_ONLY,
                java.sql.ResultSet.CONCUR_READ_ONLY);
        statement.setFetchSize(Integer.MIN_VALUE);

但这一次一次流式传输一个结果，这是否意味着我们在每一行都命中了MySql服务器

在使用流式传输时，我们可以设置以下语句吗？setFetchSize（1000）;

我想减少流式传输大型ResultSet时往返服务器的次数

Answer 1

我将假定您使用的是MySQL提供的官方JDBC驱动程序Connector / J。

您显式地告诉JDBC（和MySQL）以逐行方式传输结果 statement.setFetchSize(Integer.MIN_VALUE);

从MYSQL文档：

默认情况下，完全检索ResultSet并将其存储在内存中。在大多数情况下，这是最有效的操作方式，而且由于MySQL网络协议的设计更易于实现。如果您正在使用具有大量行或较大值的ResultSet，并且无法在JVM中为所需的内存分配堆空间，则可以告诉驱动程序一次将结果流回一行。

要启用此功能，您需要按以下方式创建一个Statement实例：

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
          java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

前向只读结果集与访存大小为Integer.MIN_VALUE的组合用作驱动程序发出信号以逐行流式传输结果集的信号。此后，将使用该语句创建的任何结果集逐行检索。

Integer.MIN_VALUEMySQL将忽略除获取大小以外的任何值，并应用标准行为。整个结果集将由JDBC驱动程序获取。

要么不使用setFetchSize()，否则JDBC驱动程序将使用默认值（0），或将其值0显式设置。使用值0还将确保JDBC不使用MySQL游标，这可能取决于您的MySQL和Connector
/ J版本和配置而发生。