Python SQL查询性能

Question

我正在使用jaydebeapi（Mac OS X）查询Netezza数据库，并执行一些快速/肮脏的计时：

t0 = time.time()
curs.execute('''select * from table1;''')
print time.time() - t0

t0 = time.time()
curs.execute('''select * from table1;''')
row = curs.fetchone()
while row is not None:
    row = curs.fetchone()
print time.time() - t0

完成大约需要10分钟（平均超过10次）。

现在，当我使用WinSQL(Windows7，ODBC)运行相同的SQL查询时，返回数据大约需要3分钟。我似乎不明白为什么在Python中要花这么长的时间，也不确定如何或从哪里开始寻找。

Answer 1

您是将JayDeBeApi与JPype结合使用还是与Jython一起使用？使用JPype实现获取大型结果集会导致对每个单元格值进行一些JNI调用，这会导致大量的开销。您应该考虑以下选项之一：

1. 最小化ResultSet的大小。使用SQL函数进行聚合。
2. 尝试一下JPype1的最新实现。性能有所提高。
3. 将您的运行时切换到Jython（JayDeBeApi也在Jython上工作）
4. 直接在Java中实现数据库查询和数据提取，并使用JPype调用逻辑，但接口不返回大型数据集。
5. 尝试改进JPype和JayDeBeApi代码