apache beam ElasticSearchIO 遇到异常后job中断执行 自己定制beam IO

Posted 2021-01-30 Bigben

可以将 ElasticSearchIO.java 源码拷贝至自己的项目。改名为MyElasticSearchIO.java。自己定制实现。这时编译会遇到auto.value失败。在pom.xml中加入如下依赖：

    <!-- googles -->
    <!-- https://mvnrepository.com/artifact/com.google.auto.value/auto-value -->
<dependency>
    <groupId>com.google.auto.value</groupId>
    <artifactId>auto-value</artifactId>
    <version>1.6.3</version>
    <scope>provided</scope>
</dependency>

    <!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>27.0.1-jre</version>
</dependency>

报错是在flushBatch里面的checkForErrors出现。