如何处理我在尝试通过 Pyspark 从 SQL 写入 Kudu 时遇到的这个错误

Posted 2023-04-15

【中文标题】如何处理我在尝试通过 Pyspark 从 SQL 写入 Kudu 时遇到的这个错误

【英文标题】：how handle this error that i am facing when trying to write from SQL to Kudu via Pyspark

【发布时间】：2018-09-18 19:28:14

【问题描述】：

我想从 SQL 写一个巨大的表到 Kudu 表，我无法将它写到 Kudu 表。

使用以下代码：

kuduDF.write.format('org.apache.kudu.spark.kudu')
              .option('kudu.master',kudu_master)
              .option('kudu.table',"impala::"+kudu_database_name+"."+kudu_table_name).mode('append')
              .option("kudu.operation", operation_type)
              .save()

但我收到以下错误：

调用 o202.save 时出错。 : java.lang.AbstractMethodError: org.apache.kudu.spark.kudu.DefaultSource.createRelation(Lorg/apache/spark/sql/SQLContext;Lorg/apache/spark/sql/SaveMode;Lscala/collection/immutable/Map;Lorg /apache/spark/sql/Dataset;)Lorg/apache/spark/sql/sources/BaseRelation;

【问题讨论】：

好吧，我也不确定。您认为正确的格式是什么？

那么你以前用过这种格式吗？当不使用 kuducontext 时，我们通过 impala jdbc 编写。

当我尝试阅读它时。它使用类似的格式。它读取结构但未能读取表中的数据。

我的问题是关于写作的

可以使用 kudu 上下文吗？

【参考方案1】：

你能试试这个 jar kudu-spark2-tools_2.11.jar 吗？你是用哪个罐子让它工作的