python写hive的UDF问题

Posted 2023-05-07

我用python写UDF函数时总报错：

python：

import sys

def main():
for line in sys.stdin:
line = line.strip()
fields = line.split('\t')
if fields[2] is None or fields[2]=""
fields[2] = "o"
print '%s\t%s\t%s' % (fields[0],fields[1],fields[2])

if __name__ == "__main__":
main()

hql语句：

select transform(device_id,device_type,gender) using 'python gender.py' as(device_id,device_type,gender) from dm_device_gender where year=2017 and month=02 and day=23 limit 20;

报错：

Error: java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row "device_id":"pom7vptz-wnu7-tvxj-xeqm-7anh1ga5vo9x","device_type":"gaid","package_names":"com.k12.equivalenceTiles","source":"m:dsp","gender":"f","ratio":"0.5002738483938325","tag":"calc","year":"2017","month":"02","day":"23"
at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:195)
at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:455)

请问大神这是什么原因？
python改成这样就没事：
import sys

def main():
for line in sys.stdin:
line = line.strip()
fields = line.split('\t')
if fields[2] is None or fields[2]=""
fields[2] = "o"
try:
print '%s\t%s\t%s' % (fields[0],fields[1],fields[2])
except ValueError:
continue
if __name__ == "__main__":
main()
但是好像缺少数据。

你把print写在try里面当然会少数据。你应该try访问fields数组并更新fields[2]的值。另一方面，从功能点上来说，使用SQL函数nvl或coalesce就能实现，没必要写个UDF来实现，你这样做增加额外的IO消耗和工作量。如果一定要写UDF，建议少用print,改用标准输出实现：sys.stdout.write()。 参考技术A 我最近也在搞这个，不用try的话也是一直报错，用了try就直接没数据。我把数据打印出来，发现每一行后面多了一个NULL，找了几天也没找出来从哪来的

知道什么原因的话说一下，谢谢 参考技术B hive的jdbc包，jar包名字大概是hive-jdbc.jar，你找找hive包下带Jdbc的看看。追问

这应该和jar包没问题，用的公司服务器上的jar包。

检查python写的hive udf中的错误

【中文标题】检查python写的hive udf中的错误

【英文标题】：Check the error in the hive udf written in python

【发布时间】：2017-10-18 19:43:36

【问题描述】：

我使用 python 编写了一个 hive udf，但是在使用 udf 运行我的查询时。我在日志中收到以下错误-

错误：java.lang.RuntimeException：关闭时 Hive 运行时错误 操作员：[错误 20003]：尝试关闭 运行您的自定义脚本的操作员。

如何检查我的 python 脚本崩溃的错误，因为 map reduce 日志只是向我显示了作业中的错误，如上所示。

【问题讨论】：

您使用哪个客户端进行查询？直线？

是的，我正在使用 beeline 和它的 python udf

【参考方案1】：

尝试使用 UDF as 执行您的查询

hive --hiveconf hive.root.logger=DRFA --hiveconf hive.log.dir=./logs --hiveconf hive.log.level=DEBUG -e "query"

并检查在日志文件夹中创建的日志文件。这将是一个详细的日志。在执行命令之前确保日志文件夹存在。