Hivecontext.sql 返回空结果火花

Posted 2023-04-17

【中文标题】Hivecontext.sql 返回空结果火花

【英文标题】：Hivecontext.sql returns empty result spark

【发布时间】：2017-04-28 06:53:36

【问题描述】：

我正在创建配置单元上下文并查询配置单元表，如下所示， spark上下文是使用yarn-cluster创建的

HiveContext hv = new HiveContext(sc)
hv.sql("use schema")
val df = hv.sql(query)

但是它返回一个空的数据框。

但是，如果我直接在 hive 环境中运行查询，它会返回有效值。可能是什么问题

【问题讨论】：

val hv: HiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

@philantrovert：这有什么不同？？

HiveContext hv 如果您使用的是 scala，则在语法上是错误的。

@philantrovert ：但这会影响问题吗？

我不确定您是如何通过第一行的。 Spark 应该立即抛出错误。哪个 Spark 版本？

【参考方案1】：

通常，spark 中的数据帧可以被视为检索/计算数据的映射，直到需要数据时才会物化。 为了获取数据，您可以使用 df.collect()