3.1

Posted 2021-03-10 gkl20173667

基础概述

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。

其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不适合那些需要低延迟的应用，它最适合应用在基于大量不可变数据的批处理作业，例如，网络日志分析。

Hive的特点是：可伸缩（在Hadoop集群上动态的添加设备）、可扩展、容错、输出格式的松散耦合。

Hive将元数据存储在关系型数据库（RDBMS）中，比如mysql、Derby中。

 

需求概述

在本节中，我们将使用Hive对以下指标进行统计并演示：

1.需求1：分析每年的信件数量

2.需求2：分析信件是属于投诉还是属于咨询，及投诉和咨询的数量

3.需求3：分析对信件进行回答的政府部门5.自定义UDF，区分信件时间的月份

4.使用UDF