添加分区以及分析函数和窗口函数

Posted 曹军

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了添加分区以及分析函数和窗口函数相关的知识,希望对你有一定的参考价值。

一:添加分区

1.查看表的分区

  

 

2.手动添加分区

  需要添加到元数据,元数据中有Partitions表。

  多了一个分区,就是说表结构被改过,所以添加一个分区。

  

 

3.关于分区表的查询

  

 

 

二:分析函数和窗口函数 

1.功能

  可以对分组之后的数据进行处理,最终输出处理后的每一条数据。

 

2.将要操作的数据表示emp

  

 

2.部门10的部门分组,按照薪资降序排列

  

 

3.所有的部门分组,并且按照薪资降序排列,同时最后一列显示每组的最值

  

 

4.所有的部门分组,并且按照薪资降序排列,同时最后一列显示每组的行号

  

 

 

三:分析函数与窗口函数官方位置

  https://cwiki.apache.org/confluence/display/Hive/LanguageManual+WindowingAndAnalytics

1.第一步

  

 

2.第二部

  

 

3.窗口函数

  

 

4.分析函数

  

 

四:补充两个窗口函数

1.Lead与Lag

  -》lag:向前
  -》lead:向后

  说明:这个对于某一列的上几行或者下几行所说的。  

 

2.参数
  lead/lag(列,偏移量,超出窗口的默认值)

 

3.举例
  id     name     lag (name,1,0)
  1      laoda      0
  2      laoer      laoda

  3      laosan    laoer

 

 

 

 

  

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

  

以上是关于添加分区以及分析函数和窗口函数的主要内容,如果未能解决你的问题,请参考以下文章

数据分析课程笔记 - 20 - HIVE 核心技能之窗口函数

Hive碎碎念(2):分析函数和窗口函数

Hive 窗口与分析型函数

最大日期间隔的分析函数范围窗口

Impala的分析函数(基于impala2.12)

SQL Server2008窗口计算