尽管表存在,但未找到 Hive 表或视图
Posted
技术标签:
【中文标题】尽管表存在,但未找到 Hive 表或视图【英文标题】:Hive Table or view not found although the Table exists 【发布时间】:2019-10-21 22:40:36 【问题描述】:我正在尝试在 Spark 集群上运行用 Java 编写的 Spark 作业,以将记录作为数据帧加载到我创建的 Hive 表中。
df.write().mode("overwrite").insertInto(dbname.tablename);
虽然表和数据库存在于 Hive 中,但它会抛出以下错误: org.apache.spark.sql.AnalysisException:找不到表或视图:dbname.tablename,数据库dbname不存在。;
我还尝试从与上表不同的现有配置单元表中读取数据,认为在创建表时可能存在问题。 我还检查了我的用户是否有权访问配置单元存储数据的 hdfs 文件夹。 一切看起来都很好,不知道可能是什么问题。
请提出建议。
谢谢
【问题讨论】:
如果您要构建数据框,为什么不使用结构化流? 您是否使用 spark-shell 进行过检查。表存在于 spark 环境中或 NOt.scala> spark.catalog.listTables().show(false) 【参考方案1】:我认为它是在 spark 而不是 hive 中搜索该表。
【讨论】:
以上是关于尽管表存在,但未找到 Hive 表或视图的主要内容,如果未能解决你的问题,请参考以下文章
未找到基表或视图:1146 表“epharmacy.medicines”不存在
SQLSTATE [42S02]:未找到基表或视图:1146 表 'pdone.BaseUser' 不存在
SQLSTATE [42S02]:未找到基表或视图:1146 表 'hr.staff' 不存在
SQLSTATE [42S02]:未找到基表或视图:1146 表 'laravel_abonamenty2.currencies' 不存在