MySQL Connector/J在“流式传输”结果集时是否缓冲行？

Question

根据我的阅读，我认为使用MySQL JDBC驱动程序在MySQL中流式传输< code>ResultSet的方法是这两个命令:

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

我的问题是，专家能否澄清使用上述代码流式传输ResultSet是否会将一行返回给客户端，然后去服务器获取下一行，依此类推（效率非常低），或者它是否足够智能，可以像BufferedStreamReader一样进行缓冲流式传输？如果它进行缓冲流式传输，如何设置缓冲区大小？

编辑：来自文档：

前向只读结果集与整数获取大小的组合。MIN_VALUE用作驱动程序的信号，以逐行流式传输结果集。之后，将逐行检索使用该语句创建的任何结果集。

这是否意味着，如果我有1000万行，那么就有1000万次到服务器的往返来获取这些行？这是非常低效的。我如何对< code>ResultSet进行流式处理，但对其进行缓冲，这样我就不必进行这么多次往返了？

EDIT2:似乎当fetchSize设置为Integer时，MySQL会自动进行一些缓冲。最小值。在我的测试中，我能够使用< code>setFetchSize(Integer)在不到20分钟的时间内读取超过4000万行。最小值)。这相当于每秒30，000行。我不知道平均行有多大，但很难想象每秒30，000次往返。

还有一个单独的问题:如果结果集的元素多于fetchSize，MySQL会怎么做？例如，结果集有10M行，fetchSize设置为1000。接下来会发生什么？

Answer 1

当fetchSize设置为Integer.MIN_VALUE时，MySQL似乎会自动进行一些缓冲。

确实如此，至少有时是这样。我使用Wireshark测试了MySQL Connector/J版本5.1.37的行为。对于表...

CREATE TABLE lorem (
    id INT AUTO_INCREMENT PRIMARY KEY,
    tag VARCHAR(7),
    text1 VARCHAR(255),
    text2 VARCHAR(255)
    )

...使用测试数据...

 id  tag      text1            text2
---  -------  ---------------  ---------------
  0  row_000  Lorem ipsum ...  Lorem ipsum ...
  1  row_001  Lorem ipsum ...  Lorem ipsum ...
  2  row_002  Lorem ipsum ...  Lorem ipsum ...
...
999  row_999  Lorem ipsum ...  Lorem ipsum ...

(where both `text1` and `text2` actually contain 255 characters in each row)

…和代码。。。

try (Statement s = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY)) {
    s.setFetchSize(Integer.MIN_VALUE);
    String sql = "SELECT * FROM lorem ORDER BY id";
    try (ResultSet rs = s.executeQuery(sql)) {

...在s.executeQuery（sql）之后-即在rs.next（）被调用之前-MySQL Connector/J已经从表中检索了第一~140行。

实际上，当仅查询标记列时

    String sql = "SELECT tag FROM lorem ORDER BY id";

MySQL Connector/J立即检索了所有1000行，如Wireshark网络帧列表所示:

将查询发送到服务器的第19帧如下所示:

MySQL服务器以第20帧作为响应，该帧以...

...紧随其后的是第21帧，它以...

...依此类推，直到服务器发送了第 32 帧，该帧以

由于唯一的区别是每行返回的信息量，我们可以得出结论，MySQL Connector / J根据每个返回行的最大长度和可用内存量来决定适当的缓冲区大小。

如果结果集的元素比 fetchSize 多，MySQL 会怎么做？例如，结果集有10M行，fetchSize设置为1000。然后会发生什么？

MySQL Connector/J最初检索第一个 fetchSize 行组，然后当 rs.next（） 在它们之间移动时，它最终将检索下一组行。即使对于 setFetchSize（1） 也是如此，顺便说一句，这是一次只获取一行的方法。

(注意< code>setFetchSize(n)为n