检查python写的hive udf中的错误

Posted 2023-03-23

【中文标题】检查python写的hive udf中的错误

【英文标题】：Check the error in the hive udf written in python

【发布时间】：2017-10-18 19:43:36

【问题描述】：

我使用 python 编写了一个 hive udf，但是在使用 udf 运行我的查询时。我在日志中收到以下错误-

错误：java.lang.RuntimeException：关闭时 Hive 运行时错误 操作员：[错误 20003]：尝试关闭 运行您的自定义脚本的操作员。

如何检查我的 python 脚本崩溃的错误，因为 map reduce 日志只是向我显示了作业中的错误，如上所示。

【问题讨论】：

您使用哪个客户端进行查询？直线？

是的，我正在使用 beeline 和它的 python udf

【参考方案1】：

尝试使用 UDF as 执行您的查询

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -e "query"

并检查在日志文件夹中创建的日志文件。这将是一个详细的日志。在执行命令之前确保日志文件夹存在。