从 Beeline 连接时,Hive 查询在 Tez 上失败,但在 Map-Reduce 上成功

Posted

技术标签:

【中文标题】从 Beeline 连接时,Hive 查询在 Tez 上失败,但在 Map-Reduce 上成功【英文标题】:Hive queries failing on Tez but succeeding on Map-Reduce when connecting from Beeline 【发布时间】:2019-11-08 07:06:10 【问题描述】:

我遇到了一个奇怪的错误。我正在运行一个带有 where 子句的简单 select * 查询,以下是查询执行状态的摘要

    从 EMR(Tez 引擎)连接到 Hive - 成功 从 EMR(MR 引擎)连接到 Hive - 成功 从 Beeline(Tez 引擎)连接到 Hive - 失败 从 Beeline(MR 引擎)连接到 Hive - 成功

我需要解决第 3 点。 这是我得到的错误跟踪,无法找到导致此故障的根本原因以及此错误日志试图传达的内容。

    at org.apache.hive.service.cli.operation.Operation.toSQLException(Operation.java:380)
    at org.apache.hive.service.cli.operation.SQLOperation.runQuery(SQLOperation.java:257)
    at org.apache.hive.service.cli.operation.SQLOperation.access$800(SQLOperation.java:91)
    at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork$1.run(SQLOperation.java:348)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1840)
    at org.apache.hive.service.cli.operation.SQLOperation$BackgroundWork.run(SQLOperation.java:362)
    at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
    at java.util.concurrent.FutureTask.run(FutureTask.java:266)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
    at java.lang.Thread.run(Thread.java:748)' SQL<select `ID`, `ISDELETED`, `ACCOUNTID`, `CREATEDBYID`, `CREATEDDATE`, `FIELD`, `OLDVALUE`, `NEWVALUE`, `AUDIT_UPD_TS`, `SRC_OP_TYP`, `GG_INGEST_TS` from `t4i_ent_sfdc_b2b_psa`.`sf_accounthistory` x WHERE SRC_OP_TYP='NA'>```

【问题讨论】:

您能分享一下您用来调用 hive(beeline) 会话的直线命令吗?这将有助于了解那里是否缺少某些东西。 嗨@AjayAhuja,我能够解决这个问题,现在已经发布了答案。 【参考方案1】:

我能够解决这个问题。问题是我在没有指定用户的情况下通过 JDBC 将我的应用程序连接到 Hive。对于需要简单数据流的查询,它是成功的,但是在触发 Map-Reduce 作业以写入 HDFS 的情况下,写入操作失败并出现错误

Failed to execute tez graph.
    org.apache.hadoop.security.AccessControlException: Permission denied: user=anonymous, access=WRITE, inode="/user":hdfs:hadoop:drwxr-xr-x

为了解决这个问题,我添加了 user=hadoop;在 JDBC URL 中,查询现在运行良好。

【讨论】:

【参考方案2】:

尝试如下调用beeline (Tez engine),然后运行您的查询:

beeline -u "jdbc:hive2://<host>:<port>,/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2-batch?tez.queue.name=<yarn-queue-name>"

如果上述方法不起作用,请尝试修复 SQL 中的任何问题。我在您的 sql 查询中的 Where 子句之前看到“x”,这可能是问题所在。尝试删除它并运行您的查询。

`sf_accounthistory` x WHERE SRC_OP_TYP='NA'

希望对你有帮助

【讨论】:

以上是关于从 Beeline 连接时,Hive 查询在 Tez 上失败,但在 Map-Reduce 上成功的主要内容,如果未能解决你的问题,请参考以下文章

hive beeline详解

Hive Beeline 官方文档学习

hive的几种连接方式

通过zookeeper连接hive beeline

beeline链接hive报错

如何从beeline hive以csv2格式下载数据?