中大型结果集的Hibernate，JDBC和Java性能

Question

我们正在尝试优化我们的数据服务器应用程序。它通过mysql数据库存储股票和报价。而且我们对获取性能不满意。

语境

- database
    - table stock : around 500 lines
    - table quote : 3 000 000 to 10 000 000 lines
    - one-to-many association : one stock owns n quotes
    - fetching around 1000 quotes per request
    - there is an index on (stockId,date) in the quote table
    - no cache, because in production, querys are always different
- Hibernate 3
- mysql 5.5
- Java 6
- JDBC mysql Connector 5.1.13
- c3p0 pooling

测试与结果

协议

• 通过在mysql命令行bin中运行生成的sql查询，可以获得mysql服务器上的执行时间。
• 服务器处于测试环境中：没有其他数据库读数，没有数据库书写
• 我们获取AAPL股票的857报价

案例1：与关联hibernate

这用857个报价对象填充了我们的库存对象（所有正确映射在hibernate.xml中的对象）

session.enableFilter("after").setParameter("after", 1322910573000L);
Stock stock = (Stock) session.createCriteria(Stock.class).
add(Restrictions.eq("stockId", stockId)).
setFetchMode("quotes", FetchMode.JOIN).uniqueResult();

SQL生成：

SELECT this_.stockId AS stockId1_1_,
       this_.symbol AS symbol1_1_,
       this_.name AS name1_1_,
       quotes2_.stockId AS stockId1_3_,
       quotes2_.quoteId AS quoteId3_,
       quotes2_.quoteId AS quoteId0_0_,
       quotes2_.value AS value0_0_,
       quotes2_.stockId AS stockId0_0_,
       quotes2_.volume AS volume0_0_,
       quotes2_.quality AS quality0_0_,
       quotes2_.date AS date0_0_,
       quotes2_.createdDate AS createdD7_0_0_,
       quotes2_.fetcher AS fetcher0_0_
FROM stock this_
LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId
AND quotes2_.date > 1322910573000
WHERE this_.stockId='AAPL'
ORDER BY quotes2_.date ASC

结果：

• mysql服务器上的执行时间： 〜10 ms
• Java中的执行时间： 〜400ms

情况2：无HQL关联的hibernate状态

为了提高性能，我们使用了仅获取报价对象的代码，并将其手动添加到库存中（因此，我们不会获取每一行的库存重复信息）。我们使用createSQLQuery来最小化别名和HQL混乱的影响。

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
stock.addQuotes((ArrayList<Quote>) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list());

SQL生成：

SELECT *
FROM quote q
WHERE stockId='AAPL'
  AND q.date>1322910573000
ORDER BY q.date ASC

结果：

• mysql服务器上的执行时间： 〜10 ms
• Java中的执行时间： 〜370ms

情况3：没有Hibernate的JDBC

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
Connection conn = SimpleJDBC.getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter);
while(rs.next())
{
    stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher")));
}
stmt.close();
conn.close();

结果：

• mysql服务器上的执行时间： 〜10 ms
• Java中的执行时间： 〜100ms

我们的理解

• JDBC驱动程序在所有情况下都是通用的
• JDBC驱动存在基本的时间成本
• 使用类似的SQL查询，Hibernate在转换对象中的结果集上比纯JDBC代码花费更多的时间。
• Hibernate createCriteria，createSQLQuery或createQuery的时间成本相似
• 在生产中，我们要同时进行大量编写工作，因此纯JDBC解决方案似乎比hibernate的解决方案要慢（也许是因为我们的JDBC解决方案未合并）
• mysql明智的做法是，服务器的性能似乎很好，并且时间成本是可以接受的

我们的问题

• 有没有一种方法可以优化JDBC驱动程序的性能？
• Hibernate会从这种优化中受益吗？
• 转换结果集时，是否有一种方法可以优化Hibernate性能？
• 由于Java基本对象和内存管理，我们是否面临无法调整的问题？
• 我们是否遗漏了一点，我们愚蠢而所有这些都是徒劳的？
• 我们是法国人吗？是。

非常欢迎您的帮助。

Answer 1

您能否使用简单查询进行冒烟测试，例如：

SELECT current_timestamp()

要么

SELECT 1 + 1

这将告诉您实际的JDBC驱动程序开销是多少。同样也不清楚两个测试是否都在同一台机器上执行。

有没有一种方法可以优化JDBC驱动程序的性能？

在Java中运行相同的查询数千次。JVM需要一些时间进行热身（类加载，JIT）。我还假设SimpleJDBC.getConnection()使用C3P0连接池-
建立连接的成本很高，因此前几次执行可能会很慢。

与临时查询或条件查询相比，还更喜欢命名查询。

Hibernate会从这种优化中受益吗？

Hibernate是一个非常复杂的框架。如您所见，与原始JDBC相比，它消耗了总执行时间的75％。如果您需要原始ORM（无需延迟加载，脏检查，高级缓存），请考虑使用mybatis。甚至可能JdbcTemplate带有RowMapper抽象。

转换结果集时，是否有一种方法可以优化Hibernate性能？

并不是的。请查阅Hibernate文档中的
第19章

。那里 有很多 反思+类生成。再一次，当您想从数据库中压缩每一毫秒时，Hibernate可能不是最佳解决方案。

但是 ，由于要提供广泛的缓存支持，因此要提高整体用户体验时，这是一个不错的选择。再次查看
性能
文档。它主要谈论缓存。有一级缓存，二级缓存，查询缓存…在这里，Hibernate实际上可能胜过简单的JDBC-
它可以以您甚至无法想象的方式缓存很多内容。另一方面，糟糕的缓存配置将导致安装速度更慢。

由于Java基本对象和内存管理，我们是否面临无法调整的问题？

JVM（特别是在 服务器
配置中）非常快。在堆上创建对象的速度与在C语言中在堆栈上的创建速度一样快，垃圾回收已得到极大地优化。我认为与纯本地连接相比，运行纯JDBC的Java版本不会慢很多。因此，我建议您对基准进行一些改进。

我们是否遗漏了一点，我们愚蠢而所有这些都是徒劳的？

我相信，如果性能是最大的问题，那么JDBC是一个不错的选择。Java已成功用于许多数据库繁多的应用程序中。