Hive 在使用 case 语句和聚合时按列分组出错

Posted

技术标签:

【中文标题】Hive 在使用 case 语句和聚合时按列分组出错【英文标题】:Hive Getting error on group by column while using case statements and aggregations 【发布时间】:2018-10-12 06:37:39 【问题描述】:

我正在处理 hive 中的查询。因为我正在使用 sum 和 case 语句以及 group by 子句之类的聚合。我已经更改了列名和表名,但我的逻辑与我在项目中使用的逻辑相同

select 
empname,
empsal, 
emphike,
sum(empsal) as tot_sal,
sum(emphike) as tot_hike,
case when tot_sal > 1000 then exp(tot_hike)
else 0
end as manager
from employee
group by 
empname,
empsal,
emphike

对于上述查询,我​​收到错误为“Expression not in group by key '1000'”。 所以我稍微修改了查询并再次尝试我的另一个查询是

select 
empname,
empsal, 
emphike,
sum(empsal) as tot_sal,
sum(emphike) as tot_hike,
case when sum(empsal) > 1000 then exp(sum(emphike))
else 0
end as manager
from employee
group by 
empname,
empsal,
emphike

对于上面的查询,它把我的错误视为“表达式不在组中按键'经理'”。 当我通过显示无效别名在组中添加经理时。 请帮帮我

【问题讨论】:

【参考方案1】:

我在您的查询中发现了三个问题:

1.) Hive 无法按您在选择块中定义的变量按您立即提供的名称进行分组。您可能需要一个子查询。

2.) 当sumcount 操作不在查询末尾时,Hive 往往会显示错误。

3.) 虽然我不知道您的目标是什么,但我认为您的查询不会提供预期的结果。如果您按empsal 分组,则设计上empsalsum(empsal) 之间没有区别。 emphikesum(emphike) 也是如此。

我认为以下查询可能会解决这些问题:

select
a.empname,
a.tot_sal, 
a.tot_hike,
if(a.tot_sal > 1000, exp(a.tot_hike), 0) as manager
from
(select 
empname,
sum(empsal) as tot_sal,
sum(emphike) as tot_hike,
from employee
group by 
empname
)a

if 语句等同于您的case 语句,但是我发现它更容易阅读。

在此示例中,您不需要在子查询之后进行分组,因为分组是在子查询 a 中完成的。

【讨论】:

以上是关于Hive 在使用 case 语句和聚合时按列分组出错的主要内容,如果未能解决你的问题,请参考以下文章

如何在 Hive 中除按列分组之外的列上应用 max 子句

spark - 在大型数据帧上执行 groupby 和聚合时,java 堆内存不足

在sql中使用case语句根据某些条件对列进行分组

如何使用 JPA Criteria API / Hibernate 按 Case 语句分组

SQL (Hive):在使用 GROUP BY 进行聚合时使用窗口函数

Mysql 查询 - 在 case 语句中使用 Locate 函数按源对流量进行分组