Spring Batch ORA-08177: 运行单个作业时无法序列化此事务的访问,SERIALIZED 隔离级别

Posted

技术标签:

【中文标题】Spring Batch ORA-08177: 运行单个作业时无法序列化此事务的访问,SERIALIZED 隔离级别【英文标题】:Spring Batch ORA-08177: can't serialize access for this transaction when running single job, SERIALIZED isolation level 【发布时间】:2014-04-17 08:23:31 【问题描述】:

我在 Spring Batch 中的 JobRepository 上使用 SERIALIZED 隔离级别收到此异常:

org.springframework.dao.CannotSerializeTransactionException: PreparedStatementCallback; SQL [INSERT into DATAFEED_APP.BATCH_JOB_INSTANCE(JOB_INSTANCE_ID, JOB_NAME, JOB_KEY, VERSION) values (?, ?, ?, ?)]; ORA-08177: can't serialize access for this transaction

;嵌套异常是 java.sql.SQLException: ORA-08177: can't serialize access for this transaction

at org.springframework.jdbc.support.SQLErrorCodeSQLExceptionTranslator.doTranslate(SQLErrorCodeSQLExceptionTranslator.java:269)
at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:72)
at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:603)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:812)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:868)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:872)
at org.springframework.batch.core.repository.dao.JdbcJobInstanceDao.createJobInstance(JdbcJobInstanceDao.java:105)
at org.springframework.batch.core.repository.support.SimpleJobRepository.createJobExecution(SimpleJobRepository.java:135)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:110)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.batch.core.repository.support.AbstractJobRepositoryFactoryBean$1.invoke(AbstractJobRepositoryFactoryBean.java:172)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
at $Proxy27.createJobExecution(Unknown Source)
at org.springframework.batch.core.launch.support.SimpleJobLauncher.run(SimpleJobLauncher.java:124)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
at org.springframework.batch.core.configuration.annotation.SimpleBatchConfiguration$PassthruAdvice.invoke(SimpleBatchConfiguration.java:117)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
at $Proxy61.run(Unknown Source)

仅运行一项作业时,没有其他并行作业。当我将 JobRepository 的隔离级别更改为 ISOLATION_READ_COMMITTED 时,异常消失了。

这个异常的原因是什么?

【问题讨论】:

【参考方案1】:

来自official doc - 4.3.1

该方法的默认隔离级别是 SERIALIZABLE,即 相当激进:READ_COMMITTED 也可以; 如果两个进程不太可能,READ_UNCOMMITTED 会很好 以这种方式碰撞。但是,由于对 create* 方法的调用是 很短,SERIALIZED 不太可能引起问题, 只要数据库平台支持就行

【讨论】:

那什么时候会出问题呢?然后我遇到了 SERIALIZABLE 问题 SERIALIZABLE 隔离级别可能(但非必要)是问题的原因;使用 ISOLATION_READ_COMMITTED 一切都很好。有时 SERIALIZABLE 不起作用。 JobRepositoryFactoryBean.setIsolationLevelForCreate("ISOLATION_READ_COMMITTED") 为我工作 据我所知,Oracle 不支持 READ_UNCOMMITTED(或 SQL Server 中的 WITH(NOLOCK))。事实上,如果启用,Oracle READ_COMMITTED 更像是 SQL Server 快照模式。默认情况下,SQL Server 仍然锁定表,而 Oracle(或快照模式下的 SQL Server)创建不同的行版本,以前的读者仍然看到旧版本已经更改。 SERIALIZABLE 在整个表上创建一个锁,也在 Oracle 上。 @leeor - 请告诉我您在哪里添加了这一行?我们没有使用 JobRepository 和 JobLauncher。所有作业都通过 Tivoli 运行【参考方案2】:

我遇到了同样的问题,在 jobRepository 级别有效隔离是关键,这是一个适合我的代码示例:

<batch:job-repository id="jobRepository"
    data-source="dataSource" transaction-manager="transactionManager"
    isolation-level-for-create="READ_COMMITTED" table-prefix="SB_" />   

【讨论】:

不确定他们是否改变了它,但对我来说是“ISOLATION_READ_COMMITTED”而不是“READ_COMMITTED”,否则抛出异常。 @ingchristianreyes ,你可能知道'spring-boot'中的相关配置吗?【参考方案3】:

使用序列化事务时,您需要根据Oracle Docs 增加表上的 initrans 参数。要处理序列化事务,这需要 3 个或更多。

alter table BATCH_.... INITRANS 3

【讨论】:

【参考方案4】:

我们已经尝试将 INI_TRANS 提升到 100,但我们仍然遇到问题

我发现这篇文章建议将 ROWDEPENDENCIES 添加到表的创建中。

http://www.devx.com/dbzone/Article/41591?pf=true

对于使用 INI_TRANS 和现在 ROWDEPENDENCIES 的我来说,序列化的异常已经消失。

更新:事实证明这不是一个完美的解决方案。我们确实在一夜之间发生了这个 SERIALIZED 异常的事件。现在情况好多了,因为我们在一次失败之前已经运行了 100 次,但使用 ROWDEPENDENCIES 似乎还不是一个完整的解决方案。

【讨论】:

【参考方案5】:

在 Spring Batch 应用程序(Spring Boot 2.3.3)中遇到了同样的问题。解决方案是:

    从配置数据源的@Configuration 类中删除@EnableTransactionManagement。 (@Transactional 也应该被删除。)

    将以下内容添加到 application.yaml

批: 存储库: 隔离级别创建:ISOLATION_READ_COMMITTED

【讨论】:

【参考方案6】:

我有解决这个问题的方法。

按照以下步骤。

    在您的数据库中手动创建表 (Link)。 在BATCH_JOB_INSTANCEBATCH_JOB_EXECUTIONBATCH_JOB_EXECUTION_PARAMS 表中插入一些虚拟记录。 (别忘了提交) 错误已解决。享受。

【讨论】:

是的!谢谢你,我很享受。为什么这行得通?我还必须在 BATCH_JOB_EXECUTION_CONTEXT 中添加一条记录。【参考方案7】:

将 database.maximumPoolSize 大小从 3 增加到 5 解决了该错误。

【讨论】:

池大小与它有什么关系? 同样对我有用。这是一个计时错误。我相信如果池中有足够多的线程,那么发出查询的时间将会使时间差异足够大,以至于错过了错误情况。 它工作了一段时间,但随后随机出现,它失败了。需要一个永久的解决方案。【参考方案8】:

我能够追踪到在创建表语句中使用“PRIMARY KEY”限定符以及 Oracle 事务隔离级别“SERIALIZABLE”的问题。 可以使用这个简单的 SQL 脚本对此进行测试:

CREATE TABLE test1 (
    test_id NUMBER(1) NOT NULL PRIMARY KEY
);

SET TRANSACTION ISOLATION LEVEL SERIALIZABLE;
INSERT INTO test1 VALUES ( 1 );
COMMIT;

结果:ORA-08177 错误。

根本原因:

该问题与 Spring Batch 代码无关,而是与 Oracle 自 11.2 版以来创建表的方式有关 - 有关详细信息,请参见此处:https://oracle-base.com/articles/11g/segment-creation-on-demand-11gr2)。

一般问题的详细描述可以在这里找到:https://asktom.oracle.com/pls/apex/asktom.search?tag=isolation-level-serialization

我使用的解决方案

在上面的create子句中加入“SEGMENT CREATION IMMEDIATE”解决了这个问题:

CREATE TABLE test1 (
    test_id NUMBER(1) NOT NULL PRIMARY KEY
)
SEGMENT CREATION IMMEDIATE;

相应地,我将相同的内容添加到 Spring Batch 作业存储库的所有“CREATE TABLE”语句中,一切正常。

【讨论】:

【参考方案9】:

我可以通过添加如下的isolationLevelForCreate来解决这个错误:

<bean id="jobRepository" class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
        <property name="databaseType" value="ORACLE"/>
        <property name="dataSource" ref="dataSource" />
        <property name="transactionManager" ref="transactionManager" />
        <property name="isolationLevelForCreate" value="ISOLATION_READ_UNCOMMITTED"/>
    </bean>

【讨论】:

【参考方案10】:

我的情况是DB端发生了一些事情,重新运行有同样的问题。

为了解决,我清理了下面的所有表格,然后重新运行似乎没问题。

BATCH_JOB_EXECUTION BATCH_JOB_EXECUTION_CONTEXT BATCH_JOB_EXECUTION_PARAMS BATCH_JOB_INSTANCE BATCH_STEP_EXECUTION BATCH_STEP_EXECUTION_CONTEXT

【讨论】:

以上是关于Spring Batch ORA-08177: 运行单个作业时无法序列化此事务的访问,SERIALIZED 隔离级别的主要内容,如果未能解决你的问题,请参考以下文章

只有一个活动会话随机获取 ORA-08177

在 Spring Batch 中以最后处理的记录作为 jobParameter 启动一个新的作业实例?

spring batch(二):核心部分:配置Spring batch

在 Spring-boot 上将 Spring Batch 与 spring-batch-admin-manager 集成时出错

Spring-batch:如何在 Spring Batch 中使用 skip 方法捕获异常消息?

spring batch ftp 集成超时错误 - 使用 spring-boot/spring-batch 进行 ETL