Sqoop 导入错误：UnsupportedClassVersionError CDH 5.16

Posted 2023-04-18

【中文标题】Sqoop 导入错误：UnsupportedClassVersionError CDH 5.16

【英文标题】：Sqoop Import Error: UnsupportedClassVersionError CDH 5.16

【发布时间】：2019-06-03 13:22:03

【问题描述】：

我在rhel7 系统上运行CDH 5.16。我安装了CDH using packages。

当我尝试从位于远程服务器中的 mysql 服务器运行 Sqoop 导入作业时，我收到以下错误：

Warning: /usr/lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
19/06/03 18:39:43 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.16.1
19/06/03 18:39:43 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
19/06/03 18:39:43 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
19/06/03 18:39:43 INFO tool.CodeGenTool: Beginning code generation
Exception in thread "main" java.lang.UnsupportedClassVersionError: com/mysql/jdbc/Driver : Unsupported major.minor version 52.0
        at java.lang.ClassLoader.defineClass1(Native Method)
        at java.lang.ClassLoader.defineClass(ClassLoader.java:800)
        at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
        at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
        at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
        at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:190)
        at org.apache.sqoop.manager.SqlManager.makeConnection(SqlManager.java:872)
        at org.apache.sqoop.manager.GenericJdbcManager.getConnection(GenericJdbcManager.java:52)
        at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:762)
        at org.apache.sqoop.manager.SqlManager.execute(SqlManager.java:785)
        at org.apache.sqoop.manager.SqlManager.getColumnInfoForRawQuery(SqlManager.java:288)
        at org.apache.sqoop.manager.SqlManager.getColumnTypesForRawQuery(SqlManager.java:259)
        at org.apache.sqoop.manager.SqlManager.getColumnTypes(SqlManager.java:245)
        at org.apache.sqoop.manager.ConnManager.getColumnTypes(ConnManager.java:333)
        at org.apache.sqoop.orm.ClassWriter.getColumnTypes(ClassWriter.java:1858)
        at org.apache.sqoop.orm.ClassWriter.generate(ClassWriter.java:1657)
        at org.apache.sqoop.tool.CodeGenTool.generateORM(CodeGenTool.java:106)
        at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:494)
        at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621)
        at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
        at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
        at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
        at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
        at org.apache.sqoop.Sqoop.main(Sqoop.java:252) 

这是我的 sqoop 导入语句：

sqoop import --connect jdbc:mysql://10.188.177.228:3306/sales --username vaishak --password root_123 --table categories --m 1 --target-dir /user/hive/warehouse/sales.db/categories

我的 java 版本是：

openjdk version "1.8.0_212"
OpenJDK Runtime Environment (build 1.8.0_212-b04)
OpenJDK 64-Bit Server VM (build 25.212-b04, mixed mode)

这是在 Cloudera manager 安装期间安装的 java。

我浏览了以下 *** 链接，在这种情况下并没有太大帮助： Sqoop import failed, UnsupportedClassVersionError

在 CDH 之前，我已经分别设置了 Hadoop 版本 3 和 sqoop（在 CDH 之外），并且能够成功运行 sqoop 脚本。

但我无法在这里找出问题所在。我也找不到HADOOP_PREFIX、JAVA_HOME 路径。

在开始导入语句之前，我已经下载并放置了 mysql 连接器 mysql-connector-java-8.0.13.jar 到 /usr/lib/sqoop/lib 路径中。

我不熟悉设置 Hadoop 组件，尤其是使用 CDH。

【问题讨论】：

错误是不支持 Java 8。与 Hadoop 或 Sqoop 没有任何关系。您可能想要验证 CDH 5.16 与哪些版本的 Java 配合使用

根据 cloudera 文档，5.16 及更高版本支持 Java 8.cloudera 链接：cloudera.com/documentation/enterprise/6/release-notes/topics/…。这也是我困惑的原因。 CDH 支持Java 版本。不知道为什么现在会出现这个错误。

@cricket_007 你认为这个错误与使用的sql连接器有关吗？

有可能。不过，如果您拥有的驱动程序仅适用于 Java 7，我会感到惊讶

不是驱动的问题。该驱动程序确实支持 java 1.8。现在无法弄清楚是什么原因造成的......

【参考方案1】：

发现问题！。似乎安装了两个版本的java。我删除了旧版本的 java，现在开始工作了！