JDBC 结果集获取大型数据集的内部机制

Question

JDBC结果集是否在一次SQL查询的网络调用中提取所有数据？考虑查询< code > select * from table where timestamp

Answer 1

获取行和批处理的确切行为因数据库系统和驱动程序而异。有些人将始终批处理，有些人将（默认情况下）一次获取所有行，对于有些人，它取决于结果集类型或其他因素。

默认情况下，MySQL连接器/J驱动程序将在执行时获取内存中的所有行。这可以更改为使用批处理大小的行流或基于游标的获取，如结果集下的JDBC API实现说明中所述：

默认情况下，结果集被完全检索并存储在内存中。在大多数情况下，这是最有效的操作方式，并且由于MySQL网络协议的设计，更易于实现。如果您使用的结果集具有大量行或大值，并且无法在JVM中为所需内存分配堆空间，则可以告诉驱动程序一次将结果流回到一行。

若要启用此功能，请按以下方式创建一个< code >语句实例:

stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY,
              java.sql.ResultSet.CONCUR_READ_ONLY); 
stmt.setFetchSize(Integer.MIN_VALUE); 

只进只读结果集的组合，提取大小为< code >整数。MIN_VALUE向驱动程序发出信号，使结果集逐行流动。此后，将逐行检索用该语句创建的任何结果集。

[……但请务必阅读警告说明。]

另一种方法是使用基于游标的流式处理每次检索设定数量的行。这可以通过将连接属性 useCursorFetch 设置为 true，然后调用 setFetchSize（int），其中 int 是每次要读取的所需行数来完成：

conn = DriverManager.getConnection("jdbc:mysql://localhost/?useCursorFetch=true", "user", "s3cr3t");
stmt = conn.createStatement();
stmt.setFetchSize(100);
rs = stmt.executeQuery("SELECT * FROM your_table_here");