Hive 在使用 case 语句和聚合时按列分组出错
Posted
技术标签:
【中文标题】Hive 在使用 case 语句和聚合时按列分组出错【英文标题】:Hive Getting error on group by column while using case statements and aggregations 【发布时间】:2018-10-12 06:37:39 【问题描述】:我正在处理 hive 中的查询。因为我正在使用 sum 和 case 语句以及 group by 子句之类的聚合。我已经更改了列名和表名,但我的逻辑与我在项目中使用的逻辑相同
select
empname,
empsal,
emphike,
sum(empsal) as tot_sal,
sum(emphike) as tot_hike,
case when tot_sal > 1000 then exp(tot_hike)
else 0
end as manager
from employee
group by
empname,
empsal,
emphike
对于上述查询,我收到错误为“Expression not in group by key '1000'”。 所以我稍微修改了查询并再次尝试我的另一个查询是
select
empname,
empsal,
emphike,
sum(empsal) as tot_sal,
sum(emphike) as tot_hike,
case when sum(empsal) > 1000 then exp(sum(emphike))
else 0
end as manager
from employee
group by
empname,
empsal,
emphike
对于上面的查询,它把我的错误视为“表达式不在组中按键'经理'”。 当我通过显示无效别名在组中添加经理时。 请帮帮我
【问题讨论】:
【参考方案1】:我在您的查询中发现了三个问题:
1.) Hive 无法按您在选择块中定义的变量按您立即提供的名称进行分组。您可能需要一个子查询。
2.) 当sum
或count
操作不在查询末尾时,Hive 往往会显示错误。
3.) 虽然我不知道您的目标是什么,但我认为您的查询不会提供预期的结果。如果您按empsal
分组,则设计上empsal
和sum(empsal)
之间没有区别。 emphike
和 sum(emphike)
也是如此。
我认为以下查询可能会解决这些问题:
select
a.empname,
a.tot_sal,
a.tot_hike,
if(a.tot_sal > 1000, exp(a.tot_hike), 0) as manager
from
(select
empname,
sum(empsal) as tot_sal,
sum(emphike) as tot_hike,
from employee
group by
empname
)a
if
语句等同于您的case
语句,但是我发现它更容易阅读。
在此示例中,您不需要在子查询之后进行分组,因为分组是在子查询 a
中完成的。
【讨论】:
以上是关于Hive 在使用 case 语句和聚合时按列分组出错的主要内容,如果未能解决你的问题,请参考以下文章
spark - 在大型数据帧上执行 groupby 和聚合时,java 堆内存不足
如何使用 JPA Criteria API / Hibernate 按 Case 语句分组