我在应用程序中使用Hibernate
ORM和PostgreSQL,有时我使用批处理操作。最初,我不明白为什么在批处理大小为25的日志中,会生成25个查询,并且最初认为它无法正常工作。但是之后,我查看了pg驱动程序的源代码,并在PgStatement类中找到了以下几行:
public int[] executeBatch() throws SQLException {
this.checkClosed();
this.closeForNextExecution();
if (this.batchStatements != null && !this.batchStatements.isEmpty()) {
this.transformQueriesAndParameters();
//confuses next line, because we have array of identical queries
Query[] queries = (Query[])this.batchStatements.toArray(new Query[0]);
ParameterList[] parameterLists =
(ParameterList[])this.batchParameters.toArray(new ParameterList[0]);
this.batchStatements.clear();
this.batchParameters.clear();
并在PgPreparedStatement类中
public void addBatch() throws SQLException {
checkClosed();
if (batchStatements == null) {
batchStatements = new ArrayList<Query>();
batchParameters = new ArrayList<ParameterList>();
}
batchParameters.add(preparedParameters.copy());
Query query = preparedQuery.query;
//confuses next line
if (!(query instanceof BatchedQuery) || batchStatements.isEmpty()) {
batchStatements.add(query);
}
}
我注意到,事实证明,如果批处理的大小达到25,则会发送25个带有附加参数的查询。
数据库的日志确认了这一点,例如:
2017-12-06 01:22:08.023 MSK [18402] postgres@buzzfactory СООБЩЕНИЕ: выполнение S_3: BEGIN
2017-12-06 01:22:08.024 MSK [18402] postgres@buzzfactory СООБЩЕНИЕ: выполнение S_4: select nextval ('tests_id_seq')
2017-12-06 01:22:08.041 MSK [18402] postgres@buzzfactory СООБЩЕНИЕ: выполнение S_2: insert into tests (name, id) values ($1, $2)
2017-12-06 01:22:08.041 MSK [18402] postgres@buzzfactory ПОДРОБНОСТИ: параметры: $1 = 'test', $2 = '1'
2017-12-06 01:22:08.041 MSK [18402] postgres@buzzfactory СООБЩЕНИЕ: выполнение S_2: insert into tests (name, id) values ($1, $2)
2017-12-06 01:22:08.041 MSK [18402] postgres@buzzfactory ПОДРОБНОСТИ: параметры: $1 = 'test', $2 = '2'
...
x23 queries with parameters
...
2017-12-06 01:22:08.063 MSK [18402] postgres@buzzfactory СООБЩЕНИЕ: выполнение S_5: COMMIT
但是我认为一个查询必须使用25个参数的数组来执行。还是我不明白批处理插入如何与准备好的语句一起工作?为什么重复一个查询n次?
毕竟,我试图在这个地方调试查询
if (!(query instanceof BatchedQuery) || batchStatements.isEmpty()) {
并注意到我的查询始终是SimpleQuery的实例,而不是BatchedQuery的实例。也许这是解决问题的办法?我找不到有关BatchedQuery的信息
可能涉及各种批处理,我将介绍其中的PostgreSQL JDBC驱动程序(pgjdbc)。
TL;
DR:在使用批处理API的情况下,pgjdbc确实使用较少的网络轮询。BatchedQuery
仅在reWriteBatchedInserts=true
传递给pgjdbc连接设置时使用。
您可能会发现与https://www.slideshare.net/VladimirSitnikv/postgresql-and-jdbc-
striving-for-high-
performance
有关(幻灯片44,…)
当涉及到查询执行时,网络延迟通常是经过时间的重要部分。
假设情况是插入10行。
PreparedStatement#execute
在循环中)。驱动程序将执行以下操作execute query
sync <– wait for the response from the DB
execute query
sync <– wait for the response from the DB
execute query
sync <– wait for the response from the DB
…
大量时间将花费在“等待数据库”中
PreparedStatement#addBatch()
使驱动程序可以在单个网络往返中发送多个“查询执行”。但是,当前的实现仍将大批拆分成较小的批,以避免TCP死锁。动作会好得多:
execute query
...
execute query
execute query
execute query
sync <-- wait for the response from the DB
#addBatch
,“执行查询”命令也有开销。服务器确实需要花费大量时间来单独处理每条消息。减少查询数量的一种方法是使用多值插入。例如:
insert into tab(a,b,c) values (?,?,?), (?,?,?), ..., (?,?,?)
该PostgreSQL允许一次插入多行。缺点是您没有详细的(每行)错误消息。当前,Hibernate尚未实现多值插入。
但是,自9.4.1209(2016-07-15)起,pgjdbc可以即时将常规批处理插入重写为多值。
为了激活多值重写,您需要添加reWriteBatchedInserts=true
连接属性。该功能最初在https://github.com/pgjdbc/pgjdbc/pull/491中开发
使用2条语句插入10行足够聪明。第一个是8值语句,第二个是2值语句。使用2的幂可以使pgjdbc保持不同的语句的数量合理,并且由于经常使用的语句是服务器准备的,因此提高了性能(请参阅PostgreSQL服务器端准备好的语句的寿命)
BatchedQuery
是表示这种多值语句,因此您将看到reWriteBatchedInserts=true
仅在大写情况下使用的类。
该功能的缺点可能包括:较低的细节作为“批处理结果”。例如,常规批处理为您提供“每个语句行计数”,但是在多值情况下,您仅获得“语句完成”状态。最重要的是,即时重写器可能无法解析某些SQL语句(例如https://github.com/pgjdbc/pgjdbc/issues/1045)。
我在我的应用程序中使用Hibernate ORM和PostgreSQL,有时我使用批处理操作。起初我不明白为什么在批处理大小=25的日志中,会生成25个查询,起初我认为它不能正常工作。但是在那之后,我查看了pg驱动程序的源代码,在Pg语句类中发现了以下几行: 在PgPreparedStatement类中 我注意到,如果批处理的大小变为25,则会发送25个查询并附带参数。 数据库日志证实了这一点,例
主要内容:使用Statement对象进行批处理,使用PrepareStatement对象进行批处理批量处理允许将相关的SQL语句分组到批处理中,并通过对数据库的一次调用来提交它们,一次执行完成与数据库之间的交互。 一次向数据库发送多个SQL语句时,可以减少通信开销,从而提高性能。 不需要JDBC驱动程序来支持此功能。应该使用方法来确定目标数据库是否支持批量更新处理。如果JDBC驱动程序支持此功能,该方法将返回。 ,和的方法用于将单个语句添加到批处理。 用于执行组成批量的所有语句。 返回一个整数
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下: 我也想要用户界面,在那里我可以触发一个特别的基础上的工作,而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务,但它更多的是用于读->处理->写之类的工作。这里,在第一步中,我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个,或者有更好的方法来实现这个。
在批处理脚本中,可以使用任何编程语言执行普通的基于文件夹的操作。 以下是一些可以在文件夹上执行的操作。 创建文件夹 列出文件夹 遍历文件夹中的文件 删除文件夹 重命名文件夹
问题内容: 对于Java-JDBC API和Oracle数据库,我有一个稍微独特的要求。我将autoCommit设置为默认值,这对于Oracle是正确的,并且我使用的示例与此链接相似。 但是,当我添加说1000批次时,可以说每个批次都是插入的。并且让我们假设大约20条记录违反了某些约束,我希望其余980条变为COMMITTED(并且以后对使用任何其他连接的任何其他查询都可见)到数据库,并忽略20条
问题内容: 我需要将几亿条记录插入mysql db。我要一次插入一百万个。请在下面查看我的代码。它似乎很慢。有什么方法可以优化它吗? 问题答案: 我在mysql中遇到类似的性能问题,并通过在连接URL中设置useServerPrepStmts和rewriteBatchedStatements属性来解决。