问题

我们正在努力优化我们的数据服务器应用程序。它通过mysql数据库存储股票和报价。而且我们对引人入胜的表演并不满意。

上下文

- database
    - table stock : around 500 lines
    - table quote : 3 000 000 to 10 000 000 lines
    - one-to-many association : one stock owns n quotes
    - fetching around 1000 quotes per request
    - there is an index on (stockId,date) in the quote table
    - no cache, because in production, querys are always different
- Hibernate 3
- mysql 5.5
- Java 6
- JDBC mysql Connector 5.1.13
- c3p0 pooling

测试和结果

协议

• mysql 服务器上的执行时间是通过在 mysql 命令行 bin 中运行生成的 sql 查询获得的。
• 服务器处于测试上下文中：没有其他数据库读数，没有数据库写入
• 我们获取AAPL股票的857个报价

案例1：休眠与关联

这用857个报价对象填充了我们的股票对象（在休眠中正确映射的所有内容.xml）

session.enableFilter("after").setParameter("after", 1322910573000L);
Stock stock = (Stock) session.createCriteria(Stock.class).
add(Restrictions.eq("stockId", stockId)).
setFetchMode("quotes", FetchMode.JOIN).uniqueResult();

生成的 SQL ：

SELECT this_.stockId AS stockId1_1_,
       this_.symbol AS symbol1_1_,
       this_.name AS name1_1_,
       quotes2_.stockId AS stockId1_3_,
       quotes2_.quoteId AS quoteId3_,
       quotes2_.quoteId AS quoteId0_0_,
       quotes2_.value AS value0_0_,
       quotes2_.stockId AS stockId0_0_,
       quotes2_.volume AS volume0_0_,
       quotes2_.quality AS quality0_0_,
       quotes2_.date AS date0_0_,
       quotes2_.createdDate AS createdD7_0_0_,
       quotes2_.fetcher AS fetcher0_0_
FROM stock this_
LEFT OUTER JOIN quote quotes2_ ON this_.stockId=quotes2_.stockId
AND quotes2_.date > 1322910573000
WHERE this_.stockId='AAPL'
ORDER BY quotes2_.date ASC

结果：

• mysql 服务器上的执行时间： ~10 ms
• Java 中的执行时间：~400ms

案例2：没有HQL的无关联的休眠

为了提高性能，我们使用了仅获取报价对象的代码，并手动将它们添加到股票中（因此我们不会为每行获取有关股票的重复信息）。我们使用 createSQLQuery 来最小化别名和 HQL 混乱的影响。

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
stock.addQuotes((ArrayList<Quote>) session.createSQLQuery("select * from quote q where stockId='" + stockId + "' " + filter).addEntity(Quote.class).list());

生成的 SQL ：

SELECT *
FROM quote q
WHERE stockId='AAPL'
  AND q.date>1322910573000
ORDER BY q.date ASC

结果：

• mysql 服务器上的执行时间： ~10 ms
• 在 Java 中执行时间：~370ms

案例 3：没有休眠的 JDBC

String filter = " AND q.date>1322910573000";
filter += " ORDER BY q.date DESC";
Stock stock = new Stock(stockId);
Connection conn = SimpleJDBC.getConnection();
Statement stmt = conn.createStatement();
ResultSet rs = stmt.executeQuery("select * from quote q where stockId='" + stockId + "' " + filter);
while(rs.next())
{
    stock.addQuote(new Quote(rs.getInt("volume"), rs.getLong("date"), rs.getFloat("value"), rs.getByte("fetcher")));
}
stmt.close();
conn.close();

结果：

• mysql 服务器上的执行时间： ~10 ms
• Java 中的执行时间：~100ms

我们的理解

• JDBC 驱动程序在所有情况下都是通用的
• JDBC驾驶存在基本时间成本
• 对于类似的sql查询，Hibernate在转换对象中的结果集方面花费的时间比纯JDBC代码更多
• Hibernate createCriteria，createSQLQuery或createQuery在时间成本上是相似的。
• 在生产中，我们同时进行大量写入，纯JDBC解决方案似乎比休眠解决方案慢（可能是因为我们的JDBC解决方案没有池化）
• Mysql方面，服务器似乎表现得很好，时间成本也非常可以接受

我们的问题

• 有没有办法优化JDBC驱动程序的性能？
• 休眠会有利于这种优化吗？
• 有没有办法在转换结果集时优化休眠性能？
• 我们是否面临着由于Java基本对象和内存管理而无法调整的事情？
• 我们是否错过了一点，我们是否愚蠢，所有这些都是徒劳的？
• 我们是法国人吗？是的。

非常欢迎您的帮助。