Spring Batch ORA-08177: 运行单个作业时无法序列化此事务的访问,SERIALIZED 隔离级别
Posted
技术标签:
【中文标题】Spring Batch ORA-08177: 运行单个作业时无法序列化此事务的访问,SERIALIZED 隔离级别【英文标题】:Spring Batch ORA-08177: can't serialize access for this transaction when running single job, SERIALIZED isolation level 【发布时间】:2014-04-17 08:23:31 【问题描述】:我在 Spring Batch 中的 JobRepository 上使用 SERIALIZED 隔离级别收到此异常:
org.springframework.dao.CannotSerializeTransactionException: PreparedStatementCallback; SQL [INSERT into DATAFEED_APP.BATCH_JOB_INSTANCE(JOB_INSTANCE_ID, JOB_NAME, JOB_KEY, VERSION) values (?, ?, ?, ?)]; ORA-08177: can't serialize access for this transaction
;嵌套异常是 java.sql.SQLException: ORA-08177: can't serialize access for this transaction
at org.springframework.jdbc.support.SQLErrorCodeSQLExceptionTranslator.doTranslate(SQLErrorCodeSQLExceptionTranslator.java:269)
at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:72)
at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:603)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:812)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:868)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:872)
at org.springframework.batch.core.repository.dao.JdbcJobInstanceDao.createJobInstance(JdbcJobInstanceDao.java:105)
at org.springframework.batch.core.repository.support.SimpleJobRepository.createJobExecution(SimpleJobRepository.java:135)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:110)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.batch.core.repository.support.AbstractJobRepositoryFactoryBean$1.invoke(AbstractJobRepositoryFactoryBean.java:172)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
at $Proxy27.createJobExecution(Unknown Source)
at org.springframework.batch.core.launch.support.SimpleJobLauncher.run(SimpleJobLauncher.java:124)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
at org.springframework.batch.core.configuration.annotation.SimpleBatchConfiguration$PassthruAdvice.invoke(SimpleBatchConfiguration.java:117)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
at $Proxy61.run(Unknown Source)
仅运行一项作业时,没有其他并行作业。当我将 JobRepository 的隔离级别更改为 ISOLATION_READ_COMMITTED 时,异常消失了。
这个异常的原因是什么?
【问题讨论】:
【参考方案1】:来自official doc - 4.3.1
该方法的默认隔离级别是 SERIALIZABLE,即 相当激进:READ_COMMITTED 也可以; 如果两个进程不太可能,READ_UNCOMMITTED 会很好 以这种方式碰撞。但是,由于对 create* 方法的调用是 很短,SERIALIZED 不太可能引起问题, 只要数据库平台支持就行。
【讨论】:
那什么时候会出问题呢?然后我遇到了 SERIALIZABLE 问题 SERIALIZABLE 隔离级别可能(但非必要)是问题的原因;使用 ISOLATION_READ_COMMITTED 一切都很好。有时 SERIALIZABLE 不起作用。 JobRepositoryFactoryBean.setIsolationLevelForCreate("ISOLATION_READ_COMMITTED") 为我工作 据我所知,Oracle 不支持 READ_UNCOMMITTED(或 SQL Server 中的 WITH(NOLOCK))。事实上,如果启用,Oracle READ_COMMITTED 更像是 SQL Server 快照模式。默认情况下,SQL Server 仍然锁定表,而 Oracle(或快照模式下的 SQL Server)创建不同的行版本,以前的读者仍然看到旧版本已经更改。 SERIALIZABLE 在整个表上创建一个锁,也在 Oracle 上。 @leeor - 请告诉我您在哪里添加了这一行?我们没有使用 JobRepository 和 JobLauncher。所有作业都通过 Tivoli 运行【参考方案2】:我遇到了同样的问题,在 jobRepository 级别有效隔离是关键,这是一个适合我的代码示例:
<batch:job-repository id="jobRepository"
data-source="dataSource" transaction-manager="transactionManager"
isolation-level-for-create="READ_COMMITTED" table-prefix="SB_" />
【讨论】:
不确定他们是否改变了它,但对我来说是“ISOLATION_READ_COMMITTED”而不是“READ_COMMITTED”,否则抛出异常。 @ingchristianreyes ,你可能知道'spring-boot'中的相关配置吗?【参考方案3】:使用序列化事务时,您需要根据Oracle Docs 增加表上的 initrans 参数。要处理序列化事务,这需要 3 个或更多。
alter table BATCH_.... INITRANS 3
【讨论】:
【参考方案4】:我们已经尝试将 INI_TRANS 提升到 100,但我们仍然遇到问题
我发现这篇文章建议将 ROWDEPENDENCIES 添加到表的创建中。
http://www.devx.com/dbzone/Article/41591?pf=true
对于使用 INI_TRANS 和现在 ROWDEPENDENCIES 的我来说,序列化的异常已经消失。
更新:事实证明这不是一个完美的解决方案。我们确实在一夜之间发生了这个 SERIALIZED 异常的事件。现在情况好多了,因为我们在一次失败之前已经运行了 100 次,但使用 ROWDEPENDENCIES 似乎还不是一个完整的解决方案。
【讨论】:
【参考方案5】:在 Spring Batch 应用程序(Spring Boot 2.3.3)中遇到了同样的问题。解决方案是:
从配置数据源的@Configuration
类中删除@EnableTransactionManagement
。 (@Transactional
也应该被删除。)
将以下内容添加到 application.yaml
【讨论】:
【参考方案6】:我有解决这个问题的方法。
按照以下步骤。
-
在您的数据库中手动创建表 (Link)。
在
BATCH_JOB_INSTANCE
、BATCH_JOB_EXECUTION
和BATCH_JOB_EXECUTION_PARAMS
表中插入一些虚拟记录。 (别忘了提交)
错误已解决。享受。
【讨论】:
是的!谢谢你,我很享受。为什么这行得通?我还必须在 BATCH_JOB_EXECUTION_CONTEXT 中添加一条记录。【参考方案7】:将 database.maximumPoolSize 大小从 3 增加到 5 解决了该错误。
【讨论】:
池大小与它有什么关系? 同样对我有用。这是一个计时错误。我相信如果池中有足够多的线程,那么发出查询的时间将会使时间差异足够大,以至于错过了错误情况。 它工作了一段时间,但随后随机出现,它失败了。需要一个永久的解决方案。【参考方案8】:我能够追踪到在创建表语句中使用“PRIMARY KEY”限定符以及 Oracle 事务隔离级别“SERIALIZABLE”的问题。 可以使用这个简单的 SQL 脚本对此进行测试:
CREATE TABLE test1 (
test_id NUMBER(1) NOT NULL PRIMARY KEY
);
SET TRANSACTION ISOLATION LEVEL SERIALIZABLE;
INSERT INTO test1 VALUES ( 1 );
COMMIT;
结果:ORA-08177 错误。
根本原因::
该问题与 Spring Batch 代码无关,而是与 Oracle 自 11.2 版以来创建表的方式有关 - 有关详细信息,请参见此处:https://oracle-base.com/articles/11g/segment-creation-on-demand-11gr2)。
一般问题的详细描述可以在这里找到:https://asktom.oracle.com/pls/apex/asktom.search?tag=isolation-level-serialization
我使用的解决方案:
在上面的create子句中加入“SEGMENT CREATION IMMEDIATE”解决了这个问题:
CREATE TABLE test1 (
test_id NUMBER(1) NOT NULL PRIMARY KEY
)
SEGMENT CREATION IMMEDIATE;
相应地,我将相同的内容添加到 Spring Batch 作业存储库的所有“CREATE TABLE”语句中,一切正常。
【讨论】:
【参考方案9】:我可以通过添加如下的isolationLevelForCreate来解决这个错误:
<bean id="jobRepository" class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
<property name="databaseType" value="ORACLE"/>
<property name="dataSource" ref="dataSource" />
<property name="transactionManager" ref="transactionManager" />
<property name="isolationLevelForCreate" value="ISOLATION_READ_UNCOMMITTED"/>
</bean>
【讨论】:
【参考方案10】:我的情况是DB端发生了一些事情,重新运行有同样的问题。
为了解决,我清理了下面的所有表格,然后重新运行似乎没问题。
BATCH_JOB_EXECUTION BATCH_JOB_EXECUTION_CONTEXT BATCH_JOB_EXECUTION_PARAMS BATCH_JOB_INSTANCE BATCH_STEP_EXECUTION BATCH_STEP_EXECUTION_CONTEXT【讨论】:
以上是关于Spring Batch ORA-08177: 运行单个作业时无法序列化此事务的访问,SERIALIZED 隔离级别的主要内容,如果未能解决你的问题,请参考以下文章
在 Spring Batch 中以最后处理的记录作为 jobParameter 启动一个新的作业实例?
spring batch(二):核心部分:配置Spring batch
在 Spring-boot 上将 Spring Batch 与 spring-batch-admin-manager 集成时出错
Spring-batch:如何在 Spring Batch 中使用 skip 方法捕获异常消息?
spring batch ftp 集成超时错误 - 使用 spring-boot/spring-batch 进行 ETL