流式传输 MySql 结果集，一次具有固定数量的结果

Question

我有一个包含1600万条记录的MySql表，由于一些迁移工作，我正在读取整个MySql表。

以下代码用于在MySql中流式传输大型结果集

        statement = connection.createStatement(
                java.sql.ResultSet.TYPE_FORWARD_ONLY,
                java.sql.ResultSet.CONCUR_READ_ONLY);
        statement.setFetchSize(Integer.MIN_VALUE);

但这是一次流式传输一个结果，这是否意味着我们每行都命中MySql服务器

在使用流时，我们可以设置如下语句：setFetchSize（1000）；

我想减少到服务器的往返次数，同时流式传输大型 ResultSet

Answer 1

要使用MySQL JDBC驱动程序一次获取固定数量的记录(例如1000个一批),而不是一个记录一个记录地流式传输，您需要:

>

将useCursorFetch设置为true，将defaultFetchSize设置为JDBC URL中所需的批大小，例如：。

jdbc:mysql://localhost/?useCursorFetch=true&defaultFetchSize=1000

根据 MySQL 驱动程序文档，在 JDBC URL 中将 useCursorFetch 设置为 true，然后在创建语句后调用 setFetchSize（1000）。请参阅下面的代码：

conn = DriverManager.getConnection("jdbc:mysql://localhost/?useCursorFetch=true", "user", "s3cr3t");
stmt = conn.createStatement();
stmt.setFetchSize(1000);
rs = stmt.executeQuery("SELECT * FROM your_table_here");

有关更多信息，请参阅官方文档：https://dev.mysql.com/doc/connector-j/8.0/en/connector-j-reference-implementation-notes.html

Answer 2

我假设您使用的是官方MySQL提供的JDBC驱动程序Connector/J。

您明确告诉JDBC（和MySQL）使用statement.setFetchSize（Integer.MIN_VALUE）逐行流式传输结果；

从MYSQL文档：

默认情况下，将完全检索结果集并将其存储在html" target="_blank">内存中。在大多数情况下，这是最有效的操作方式，并且由于MySQL网络协议的设计更容易实现。如果您正在使用具有大量行或大值的结果集，并且无法在 JVM 中为所需的内存分配堆空间，则可以告诉驱动程序一次将结果流式传输回一行。

要启用此功能，您需要以以下方式创建一个语句实例：

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
          java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

前向只读结果集与整数获取大小的组合。MIN_VALUE用作驱动程序的信号，以逐行流式传输结果集。之后，将逐行检索使用该语句创建的任何结果集。

除Integer.MIN_VALUE以外的任何值的提取大小都会被MySQL忽略，并且标准行为适用。整个结果集将由 JDBC 驱动程序获取。

要么不使用< code>setFetchSize()，这样JDBC驱动程序将使用默认值(< code>0)，要么将该值显式设置为< code>0。使用< code>0的值还将确保JDBC不使用MySQL游标，这可能会发生，具体取决于您的MySQL和Connector/J版本和配置。