登录
当前位置： 首页 > 知识库问答 >
问题：

Spring批处理-导致可能的死锁

符鸣
2023-03-14

我有一个包含多个步骤的批处理作业。每一步包括从5-6个连接的表中读取，并写入我的report_table。在第8步中，在读取和写入大约450000条记录后，它失败了，并出现异常——由:java.sql.SQLException:无法进行索引读取来获取下一行。我知道这个异常是由死锁引起的。没有其他并行运行的步骤，这是唯一写入report_table的步骤。是什么导致了这种僵局？我正在抓紧时间完成这项工作，非常感谢任何帮助。

我的工作结构是这样的

    < li >第一步 < li >步骤2是与[步骤2a，步骤2b ]并行运行的分割 < li >步骤3 < li >步骤4是与[步骤4a、步骤4b、步骤4c]并行运行的分割 < li >步骤5是与[步骤5a、步骤5b、步骤5c]并行运行的分割 < li >步骤6 < li >第7步 < li >步骤8 < li >步骤9

我的配置如下：

    <beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="
    http://www.springframework.org/schema/beans 
    http://www.springframework.org/schema/beans/spring-beans-3.2.xsd">

    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager"
        lazy-init="true">
        <property name="dataSource" ref="dataSource" />
    </bean>

    <bean id="batchDefaultSerializer" class="org.springframework.batch.core.repository.dao.DefaultExecutionContextSerializer" />

    <bean id="informixIncrementer" class="com.bah.batch.informixsupport.InformixMaxValueIncrementerFactory">
        <property name="dataSource" ref="dataSource" />
    </bean>

    <bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
        <property name="driverClassName" value="com.informix.jdbc.IfxDriver"/>
        <property name="url" value="<url>" />
        <property name="username" value="<username>"  />
        <property name="password" value="<password>" />
        <property name="initialSize" value="10" />
        <property name="maxIdle" value="5" /> 
        <property name="minIdle" value="5" />
        <property name="maxActive" value="10" /> 
        <property name="maxWait" value="3000" /> 
        <property name="removeAbandonedTimeout" value="1800" /> 
        <property name="logAbandoned" value="true" /> 

</bean>

    <bean id="jobRepository" class="com.bah.batch.informixsupport.InformixJobRepositoryFactoryBean">
        <property name="dataSource" ref="dataSource" />
        <property name="databaseType" value="Informix"/>
        <property name="incrementerFactory" ref="informixIncrementer"/>
        <property name="transactionManager" ref="transactionManager"/>
        <property name="tablePrefix" value="bhi:BATCH_" />
    </bean>

    </beans>

这是我的堆栈跟踪：

执行作业时遇到致命错误

**org.springframework.batch.core.JobExecutionException: Flow execution ended unexpectedly
    at org.springframework.batch.core.job.flow.FlowJob.doExecute(FlowJob.java:140)**
    at org.springframework.batch.core.job.AbstractJob.execute(AbstractJob.java:304)
    at org.springframework.batch.core.launch.support.SimpleJobLauncher$1.run(SimpleJobLauncher.java:135)
    at org.springframework.core.task.SyncTaskExecutor.execute(SyncTaskExecutor.java:50)
    at org.springframework.batch.core.launch.support.SimpleJobLauncher.run(SimpleJobLauncher.java:128)
    at com.bah.discrepancy.init.InitiatePurchaseReport.main(InitiatePurchaseReport.java:76)
**Caused by: org.springframework.batch.core.job.flow.FlowExecutionException: Ended flow=itemCodeSplit.2 at state=itemCodeSplit.2.itemlevelItems with exception
    at org.springframework.batch.core.job.flow.support.SimpleFlow.resume(SimpleFlow.java:174)**
    at org.springframework.batch.core.job.flow.support.SimpleFlow.start(SimpleFlow.java:144)
    at org.springframework.batch.core.job.flow.support.state.SplitState$1.call(SplitState.java:93)
    at org.springframework.batch.core.job.flow.support.state.SplitState$1.call(SplitState.java:90)
    at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
    at java.util.concurrent.FutureTask.run(FutureTask.java:138)
    at org.springframework.core.task.SimpleAsyncTaskExecutor$ConcurrencyThrottlingRunnable.run(SimpleAsyncTaskExecutor.java:251)
    at java.lang.Thread.run(Thread.java:662)
Caused by: org.springframework.jdbc.UncategorizedSQLException: PreparedStatementCallback; uncategorized SQLException for SQL [UPDATE bhi:BATCH_JOB_EXECUTION_CONTEXT SET SHORT_CONTEXT = ?, SERIALIZED_CONTEXT = ? **WHERE JOB_EXECUTION_ID = ?]; SQL state [IX000]; error code [-244]; Could not do a physical-order read to fetch next row.; nested exception is java.sql.SQLException: Could not do a physical-order read to fetch next row.**
    at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:84)
    at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:81)
    at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:81)
    at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:660)
    at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:909)
    at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:970)
    at org.springframework.batch.core.repository.dao.JdbcExecutionContextDao.persistSerializedContext(JdbcExecutionContextDao.java:233)
    at org.springframework.batch.core.repository.dao.JdbcExecutionContextDao.updateExecutionContext(JdbcExecutionContextDao.java:146)
    at org.springframework.batch.core.repository.support.SimpleJobRepository.updateExecutionContext(SimpleJobRepository.java:210)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
    at java.lang.reflect.Method.invoke(Method.java:597)
    at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:190)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:157)
    at org.springframework.transaction.interceptor.TransactionInterceptor$1.proceedWithInvocation(TransactionInterceptor.java:98)
    at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:262)
    at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:95)
    at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:179)
    at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:207)
    at $Proxy2.updateExecutionContext(Unknown Source)
    at org.springframework.batch.core.job.SimpleStepHandler.handleStep(SimpleStepHandler.java:159)
    at org.springframework.batch.core.job.flow.JobFlowExecutor.executeStep(JobFlowExecutor.java:64)
    at org.springframework.batch.core.job.flow.support.state.StepState.handle(StepState.java:67)
    at org.springframework.batch.core.job.flow.support.SimpleFlow.resume(SimpleFlow.java:165)
    ... 7 more
Caused by: java.sql.SQLException: Could not do a physical-order read to fetch next row.
    at com.informix.jdbc.IfxSqli.a(IfxSqli.java:3453)
    at com.informix.jdbc.IfxSqli.E(IfxSqli.java:3770)
    at com.informix.jdbc.IfxSqli.dispatchMsg(IfxSqli.java:2576)
    at com.informix.jdbc.IfxSqli.receiveMessage(IfxSqli.java:2492)
    at com.informix.jdbc.IfxSqli.executeCommand(IfxSqli.java:940)
    at com.informix.jdbc.IfxResultSet.b(IfxResultSet.java:300)
    at com.informix.jdbc.IfxStatement.c(IfxStatement.java:1272)
    at com.informix.jdbc.IfxPreparedStatement.executeUpdate(IfxPreparedStatement.java:415)
    at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:105)
    at org.apache.commons.dbcp.DelegatingPreparedStatement.executeUpdate(DelegatingPreparedStatement.java:105)
    at org.springframework.jdbc.core.JdbcTemplate$2.doInPreparedStatement(JdbcTemplate.java:916)
    at org.springframework.jdbc.core.JdbcTemplate$2.doInPreparedStatement(JdbcTemplate.java:909)
    at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:644)
    ... 29 more
**Caused by: java.sql.SQLException: ISAM error: record is locked.**
    at com.informix.util.IfxErrMsg.getSQLException(IfxErrMsg.java:407)
    at com.informix.jdbc.IfxSqli.E(IfxSqli.java:3775)

共有1个答案

齐迪
2023-03-14

我认为，这个问题可能是特定于信息数据库的。以下代码可能会有所帮助

  IfxXADataSource xaDataSource=new IfxXADataSource();
           xaDataSource.setIfxIFX_LOCK_MODE_WAIT(dataSourceProperties.getLockWaitTime());
         xaDataSource.setUser(dataSourceProperties.getDbUsername());
         xaDataSource.setPassword(dataSourceProperties.getDbPassword());
         xaDataSource.setPortNumber(dataSourceProperties.getPort());
         xaDataSource.setServerName(dataSourceProperties.getServername());
         xaDataSource.setIfxPATH(dataSourceProperties.getDbUrl());
         xaDataSource.setIfxIFXHOST(dataSourceProperties.getHost());
         xaDataSource.setDatabaseName(dataSourceProperties.getDatabasename());
         org.apache.tomcat.jdbc.pool.DataSource dataSourceLOcal =new org.apache.tomcat.jdbc.pool.DataSource();
         dataSourceLOcal.setDataSource(xaDataSource);
         dataSourceLOcal.setMaxActive(dataSourceProperties.getMaxActive());
         dataSourceLOcal.setInitialSize(dataSourceProperties.getInitialSize());
         dataSourceLOcal.setTestOnBorrow(dataSourceProperties.getTestOnBorrow());

您需要在IfxXADataSource数据源对象中添加LOCK_MODE_WAIT设置

 类似资料：
  • 多个Spring批处理作业并发执行导致死锁

    我使用的是spring Batch4.0.0、spring Boot2.2.0、java JDK12.0.2、db sql server 2016。 null

  • Spring批处理的批处理作业

    我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。

  • Spring批处理-性能调整

    我们开发了一个Spring批处理应用程序，其中我们有两个流程。1.向前2.向后。我们只使用文件读/写，不涉及数据库。 > 正向场景：输入文件将包含22个字段的记录。通过执行序列号生成和添加一些填充字段等操作，将22个字段转换为32个字段。根据国家代码，输出将被分成最多3个。每个块将有250K条记录。（如果记录以百万为单位，则将为同一国家生成多个文件）。 800万张唱片需要36分钟。 800万记录将

  • 导致作业退出状态的Spring批处理条件流失败

    null 鉴于以下MVE： 执行代码时，“Continue”流运行良好，但“Completed”流总是以失败的作业状态退出。 如何使作业在状态已完成的情况下完成？换句话说，我在流的编码上做错了什么？

  • GTKLookAndFeel导致Ubuntu20死锁

    我在运行以下代码时遇到了一个奇怪的问题： 首先，代码是用OpenJDK-11和OpenJFX-11编译的，在Windows中运行良好（即退出call）。 然而，如果我在Linux（特别是Ubuntu20.04）上运行这个程序，调用会锁定线程，程序永远不会退出。注释出调用将使其重新正常工作。 我只是在（这是SystemLookAndFeel返回的结果）或者我在这里做了什么错误/意外的事情？

  • Spring批处理并行处理

    当我使用Spring批处理管理运行长时间运行的批处理作业的多个实例时，它会在达到jobLauncher线程池任务执行程序池大小后阻止其他作业运行。但是从cron中提取多个工作似乎效果不错。下面是作业启动器配置。 Spring批处理管理员Restful API是否使用不同于xml配置中指定的作业启动器？

  • Spring批处理-异常处理

    我对Spring批处理跳过逻辑有一些问题。我已经配置了一个作业的步骤来跳过两个异常（SQLIntegrityConstraintViolation异常和乐观锁定失败异常）： 但当作业运行时，由于我将其配置为跳过的异常，作业以未知状态完成： 我做错什么了吗？我希望这一步跳过负责抛出其中一个异常的项，并继续处理，以便以完成状态结束。

  • Spring批处理理解块处理

    我在表中总共有8条记录，其中6条在spring批处理调用read时可以使用jpareader。现在我将页面大小和块大小设置为1以进行测试。期望作业运行时，它应该进行6次读取调用，然后它应该逐个处理，逐个写入。但实际上发生的是，它只是调用read 4次（从日志中我可以看到这样读取页面0...1）并处理4个，其中一个由于不匹配写入标准而被过滤掉，然后它只是更新了3个记录，作业标记为成功完成。

相关问答

Spring批处理并行处理Spring批处理-异常处理Spring批处理理解块处理处理Spring批处理中的多行Spring批处理表

相关文章

javascript日期处理函数，性能优化批处理Oracle对于死锁的处理方法休眠批处理插入，批处理更新ConcurrentHashMap是否有可能“死锁”？AJAX POST处理程序导致“未捕获的异常”

相关阅读

批处理函数批处理数组批处理注释批处理变量批处理语法

相关工具

不死鸟用户引导界面功能数据库处理框架死鱼微信类使用Shell脚本批量打包生成可配置的.ipa文件

相关文档

Python 文本处理PyTorch 自然语言处理Python 自然语言处理Python 自然语言处理教程Python 和 NLTK 自然语言处理
快捷导航： 新手教程 算法原理 架构设计 Java进阶 数据库进阶 大厂专栏 面试经验 编程笔记 编程问答 所有专题 文档资料 工具软件 电子书籍 小牛导航
在线工具： 房贷计算器 个税计算器 Linux命令查询 Json格式化 正则表达式 颜色转换 AES加解密 SHA1加密 MD5加密 毒鸡汤 字数统计 随机密码生成 进制转换 Base64编解码 励志句子
Copyright © 2019-2024 小牛知识库@xnip.cn. All Rights Reserved.