PySpark：java.lang.ClassCastException

Posted 2023-04-15

【中文标题】PySpark：java.lang.ClassCastException

【英文标题】：PySpark: java.lang.ClassCastException

【发布时间】：2017-07-25 07:10:28

【问题描述】：

我有一个 PySpark 代码，它开发查询并在另一个 Hive 表上运行 insert into 命令，该表在内部映射到 HBase 表。 当我使用 spark sql 在 Hive 表上运行 insert into 命令时，出现以下异常..

java.lang.ClassCastException: org.apache.hadoop.hive.hbase.HiveHBaseTableOutputFormat cannot be cast to org.apache.hadoop.hive.ql.io.HiveOutputFormat

我检查了数据类型和 tblproperties，但无法通过此异常。

我使用的版本是：

PySpark -- 1.6.0
Hive -- 1.1.0-cdh5.8.2

表格属性为：

ROW FORMAT SERDE 'org.apache.hadoop.hive.hbase.HBaseSerDe'
stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
with serdeproperties("hbase.columns.mapping"=":key,colf:a")
tblproperties("hbase.table.name"="abc",'hbase.mapred.output.outputtable' = 'abc');

即使遇到同样的问题，我也尝试删除 Row Format Serde..

我是否因为版本不匹配而遇到问题？还是我错了？？

【问题讨论】：

等待这个：github.com/apache/spark/pull/18127 来解决它！

【参考方案1】：

这是spark的一个bug，看这个apache spark pull，https://github.com/apache/spark/pull/17989