AWS Elastic Map Reduce Hive 运行 v0.5？缺少函数：“str_to_map”、“reflect”
Posted
技术标签:
【中文标题】AWS Elastic Map Reduce Hive 运行 v0.5？缺少函数：“str_to_map”、“reflect”【英文标题】：AWS Elastic Map Reduce Hive running v0.5? missing functions: 'str_to_map' , 'reflect' 【发布时间】：2012-02-28 21:15:50 【问题描述】：在 Amazon AWS 的 Hive 的 Elastic Map Reduce 实施中，未定义 UDF str_to_map 和 reflect。
str_to_map 记录在这里：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringFunctions
并与 Hive 0.7 一起发布：https://issues.apache.org/jira/browse/HIVE-1779
但在 AWS EMR 中运行 Hive 时，show functions 不会将 str_to_map 或 reflect 显示为受支持的函数。
因此，EMR EC2 节点似乎安装了 hive-0.5。
hadoop@ip-....:~$ sudo find / -name "hive-exec*jar"
/home/hadoop/.versions/hive-0.5/lib/hive-exec-0.5.0.jar
hadoop@...:~$ ls /home/hadoop/.versions/
0.18 0.20 hive-0.5
这似乎……错了。
我很确定 Hive 0.7 在 EMR 中。如何在 EMR EC2 主节点上获取带有 Hive 0.7 的 AMI？
【问题讨论】：
【参考方案1】：我想通了。我需要升级到最新的 EMR Ruby CLI，并在命令行中传递“--hive-versions 0.7.1”。
https://aws.amazon.com/developertools/2264
【讨论】：
以上是关于AWS Elastic Map Reduce Hive 运行 v0.5？缺少函数：“str_to_map”、“reflect”的主要内容，如果未能解决你的问题，请参考以下文章