使用 Airflow 的 Impala 查询

Posted 2023-03-22

【中文标题】使用 Airflow 的 Impala 查询

【英文标题】：Impala query using Airflow

【发布时间】：2019-08-21 15:58:05

【问题描述】：

是否可以使用气流的运算符之一来运行 Impala 查询，就像它可以执行 Hive 查询一样？我想一个 bash 操作员会工作，但想使用气流 api 来做。

【问题讨论】：

你检查过这个吗airflow.readthedocs.io/en/latest/_api/airflow/hooks/hive_hooks/… 如果你使用的是 impala，你可能需要在 UI 中的额外连接中将其设置为 false

你有例子吗？它没有提到 Impala。

【参考方案1】：

要从气流连接impala，我们需要在连接的额外列中提及身份验证类型和run_set_variable_statements。

要在没有身份验证机制的情况下进行连接，以下是连接详细信息。连接类型： Hive Server 2 Thrift端口： 21050架构： 您的数据库额外： "authMechanism": "NOSASL", "run_set_variable_statements":false