如何在pyspark中连接到黑斑羚？

Posted 2023-03-22

【中文标题】如何在pyspark中连接到黑斑羚？

【英文标题】：How to connect to impala in pyspark?

【发布时间】：2017-06-03 07:35:02

【问题描述】：

我想在 PySpark 中构建模型。并输入到这个模型形式的 impala。是否可以从 PySpark 连接？谢谢！

【问题讨论】：

您是否愿意详细说明并提供您迄今为止尝试过的内容？

@eliasah 我只尝试过使用来自 hive 的输入。这很简单。但是 impala，我不知道。

【参考方案1】：

一种选择是通过 Shell 脚本运行 Impala 命令。并且您可以通过 'subprocess' 从 pyspark 轻松执行 shell 脚本。