如何使用 java 连接到 spark-shell 并执行 hive 查询

Posted 2023-04-18

【中文标题】如何使用 java 连接到 spark-shell 并执行 hive 查询

【英文标题】：How to connect to spark-shell and execute hive queries using java

【发布时间】：2019-07-31 05:59:55

【问题描述】：

你能告诉我如何通过java代码连接到spark shell吗？

【问题讨论】：

我不明白你在问什么。 Spark Shell 是一个命令行交互式程序（它启动一个 spark 会话和一个 scala REPL 与之交互）。当您可以在 Java 程序中本地启动 Spark 会话或将其连接到现有集群时，为什么要从 Java 应用程序连接到交互式 shell 程序（这真的很难！）？

【参考方案1】：

您可以在 pom.xml 中添加 maven spark-core 和 spark-sql 依赖项：

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>2.4.3</version>
</dependency>

<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_2.12</artifactId>
    <version>2.4.3</version>
</dependency>

然后您将能够@Autowired 一个SparkSession 对象（如果您使用的是Spring boot）并运行您的Spark 操作。