使用 Spark/Java Maven 项目获取 HiveContext

Posted 2023-04-17

【中文标题】使用 Spark/Java Maven 项目获取 HiveContext

【英文标题】：Get HiveContext using Spark/Java Maven project

【发布时间】：2015-07-02 09:56:52

【问题描述】：

我正在尝试使用 HiveContext 通过 Spark SQL 从表中获取值。

但我不确定如何配置 hive 元存储详细信息并使其正常工作。

我们需要在SparkContext() 上设置一些东西吗？

问候， 尚卡尔

【参考方案1】：

直接来自the documentation：

HiveContext sqlContext = new org.apache.spark.sql.hive.HiveContext(sc.sc);

通过将 hive-site.xml 文件放在 conf/ 中来完成 Hive 的配置。

例如hive-site.xml。

【讨论】：

如果我想在 Eclipse / STS 工具中工作，我应该将 hive-site.xml 文件放在哪里。我需要把它放在资源文件夹下吗？请帮助我。

见this。此外，HiveContext 具有 setConf 方法，因此您应该能够使用它来覆盖某些特定值。