Spark - 结构值的 Hive 集成 - NULL 输出

Posted

技术标签:

【中文标题】Spark - 结构值的 Hive 集成 - NULL 输出【英文标题】:Spark -Hive integration for Struct values - NULL output 【发布时间】:2020-01-17 17:13:42 【问题描述】:

使用 Spark 2.2

我从 spark 程序中填充了 parquet struct 列 还有另一个 parquet 列结构数组

当它从 hive 作为外部表读取它时; 结构数组已正确填充,但结构(非数组类型)字段生成为 NULL。 注意:在镶木地板中,结构和结构数组值都已填充。只有在 Hive 我们有问题 对此有什么想法吗?

【问题讨论】:

"struct" "> 【参考方案1】:

我遇到了问题,是 hive 表中的列名更改

【讨论】:

以上是关于Spark - 结构值的 Hive 集成 - NULL 输出的主要内容,如果未能解决你的问题,请参考以下文章

Spark 与 Hive 的集成

通过配置hive-site.xml文件实现Hive集成Spark

通过配置hive-site.xml文件实现Hive集成Spark

通过配置hive-site.xml文件实现Hive集成Spark

Spark(19)——数据倾斜问题

spark-sql(spark sql cli)客户端集成hive