数据流和 Bigtable 依赖冲突

Posted 2023-03-24

【中文标题】数据流和 Bigtable 依赖冲突

【英文标题】：Dataflow and Bigtable dependency conflict

【发布时间】：2019-07-02 23:56:48

【问题描述】：

我得到的错误：

Error: A JNI error has occurred, please check your installation and try again
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/beam/sdk/transforms/DoFn
    at java.lang.Class.getDeclaredMethods0(Native Method)
    at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
    at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
    at java.lang.Class.getMethod0(Class.java:3018)
    at java.lang.Class.getMethod(Class.java:1784)
    at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
    at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.beam.sdk.transforms.DoFn
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 7 more

我的 pom 依赖项：

<dependencies>
        <dependency>
            <groupId>com.google.cloud.bigtable</groupId>
            <artifactId>bigtable-hbase-beam</artifactId>
            <version>1.11.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.beam</groupId>
            <artifactId>beam-runners-google-cloud-dataflow-java</artifactId>
            <version>2.13.0</version>
            <scope>runtime</scope>
        </dependency>
    </dependencies>

我认为问题来自使用不同版本的 beam sdk 的两个依赖项，因此我将 beam-runners-google-cloud-dataflow-java 版本更改为 2.11.0，它使用相同的 beam sdk 版本。但是我遇到了同样的错误。

任何帮助将不胜感激！

【问题讨论】：

您是否检查了光束罐以确保其中包含 DoFn 类？那将是我的第一张支票。

看起来您可能需要光束工件beam-sdks-java-core。检查该 jar 中的 DoFn 类。

我认为特雷是对的。您可以参考 Beam 的 java 快速入门，了解您应该包括哪些常见的 Beam jar：beam.apache.org/get-started/quickstart-java

您好，感谢您回复我。我将beam-sdks-java-core 添加到我的依赖项中并且错误没有改变。我还尝试将梁依赖项的版本更改为 2.11.0（以匹配 bigtable 依赖项使用的梁版本）并且错误也没有改变。还有其他想法吗？ =/

【参考方案1】：

你是如何运行管道的？我猜问题是光束罐不在你的类路径上。您要么需要使用 maven exec 插件来调用带有类路径上所有 maven 依赖项的 main()，要么需要使用 maven shade 插件或 maven 程序集插件之类的东西创建一个 fat jar。有关如何使用 maven exec 插件运行管道的示例，请参见此处： https://github.com/GoogleCloudPlatform/cloud-bigtable-examples/blob/a017a237fa8dae764451a658150190743c1b4127/java/dataflow-connector-examples/pom.xml#L146-L161