jdbc数据集是否在jvm内存中存储所有行

Question

我使用一个java jdbc应用程序从DB中获取大约500，000条记录。使用的数据库是Oracle。当每一行被取出时，我就将数据写入文件。由于获取整个数据需要大约一个小时，所以我尝试增加结果集的获取大小。我在多个链接中看到，在增加读取大小的同时，应该小心内存消耗。增加读取大小实际上会增加jvm使用的堆内存吗？< br >假设提取大小为10，程序查询总共返回100行。在第一次提取期间，结果集包含10条记录。一旦我读取了前10条记录，resultset就会获取接下来的10条记录。这是否意味着在第二次读取后，数据集将包含20条记录？之前的10条记录是仍然保留在内存中，还是在获取新批次时被删除？感谢任何帮助。

Answer 1

虽然增加提取大小可能有助于提高性能，但我还将研究调整SDU大小，SDU大小控制sqlnet层的数据包大小。增加SDU大小可以加快数据传输。

当然，获取这 500，000 行所需的时间很大程度上取决于您要获取的数据量。如果需要一个小时，我猜你正在获取大量数据和/或你正在通过WAN从远程客户端执行此操作。

要更改SDU大小：

首先，通过在服务器上的 sqlnet.ora 中更改或添加以下行，将服务器上的默认 SDU 大小更改为 32k（从 11.2.0.3 开始，您甚至可以使用 64kB，从 12c 开始最多 2MB）：DEFAULT_SDU_SIZE=32767

然后修改你的JDBC网址:JDBC:Oracle:thin:@(DESCRIPTION =(SDU = 32767)(HOST =...)(端口=...))(连接数据=

Answer 2

这要视情况而定。不同的驱动程序可能具有不同的行为，不同的 ResultSet 设置的行为可能不同。

如果您有一个CONCUR_READ_ONLY，FETCH_FORWARD，TYPE_FORWARD_ONLYResultSet，驱动程序几乎肯定会主动地将与您的提取大小相对应的行数存储在内存中（当然，较早行的数据将在内存中保留一段时间，直到它被垃圾收集）。另一方面，如果您有一个TYPE_SCROLL_INSENSITIVEResultSet，驱动程序很可能会将获取的所有数据存储在内存中，以便您可以前后滚动数据。这不是实现这种行为的唯一可能方法，所以不同的驱动程序（和不同版本的驱动程序）可能有不同的行为，但这是最简单的，也是我遇到的大多数驱动程序的行为方式。