Hive - Hadoop与SQL

Posted 2021-04-29 性能与架构

Hive是什么

简单来说，通过 Hive 可以使用 SQL 来查询分析 Hadoop 中的大规模数据

Hive 的思路就是将结构化的数据文件映射为数据库表，然后把SQL语句转换为MapReduce任务来执行

下面看一个简单的示例，了解下 Hive 是怎么用的

hive> select count(*) from invites;

结果信息

......
Total jobs = 1
Launching Job 1 out of 1
......
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
Stage-1 map = 0%,  reduce = 0%
Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 2.89 sec
Stage-1 map = 100%,  reduce = 100%, Cumulative CPU 5.86 sec
......
Stage-Stage-1: Map: 1  Reduce: 1   Cumulative CPU: 5.86 sec   HDFS Read: 14186 HDFS Write: 103 SUCCESS
......
OK
525
Time taken: 117.23 seconds, Fetched: 1 row(s)

上面执行了一个我们熟悉的SQL查询，然后自动转为了MapReduce任务，最后输出统计结果

为什么使用Hive

在没有 Hive 的时候，对海量文件进行统计分析是比较麻烦的

例如一个日志文件，记录了用户的登录信息，如 用户名、日期、地点

现在想统计北京市的登录数据，就需要写一个mapreduce程序、打个jar包、在hadoop中运行jar，然后得到统计结果

后来又想统计某天的登录情况，还要走一遍 写程序、打包、运行 这个流程

当统计需求很多时，这个流程就非常低效了

这些统计如果用SQL的话则非常简单，而且SQL的普及度高，学习成本很低

所以有人就会想，可不可以用SQL完成Hadoop中数据文件的分析统计呢？

Hive 便产生了，把Hadoop数据文件映射成表，把SQL自动转为mapreduce程序

通用性的需求可以直接使用 SQL 来完成，对于特殊需求，可以结合自定义的mapreduce方法来处理

极大的提高了大规模数据的统计效率

用法示例

表操作

建表

hive> CREATE TABLE pokes (foo INT, bar STRING);

查看表结构

hive> DESCRIBE pokes;
OK
foo                     int
bar                     string
Time taken: 0.17 seconds, Fetched: 2 row(s)

删除表

hive> DROP TABLE pokes;

导入数据

示例文件 kv1.txt 内容

348val_348
307val_307
194val_194
414val_414
477val_477
...

把 kv1.txt 导入 pokes 表

hive> LOAD DATA LOCAL INPATH 'kv1.txt' OVERWRITE INTO TABLE pokes;

查询

例1

hive> select * from pokes where foo<5;
OK
0   val_0
4   val_4
0   val_0
0   val_0
2   val_2
Time taken: 1.706 seconds, Fetched: 5 row(s)

例2

hive> select count(*) from pokes where foo<5;
Query ID = root_20161020015023_839d455e-3591-4827-afa0-7c8b6a32b69e
......
2016-10-20 01:50:51,054 Stage-1 map = 0%,  reduce = 0%
2016-10-20 01:51:42,680 Stage-1 map = 100%,  reduce = 0%, Cumulative CPU 3.81 sec
2016-10-20 01:52:01,509 Stage-1 map = 100%,  reduce = 100%, 
......
OK
5
Time taken: 101.962 seconds, Fetched: 1 row(s)

HiveQL转mapreduce的思路

背景描述

用户表

user_id	name
1	张三
2	李四

订单表

user_id	order_id
1	001
1	002
2	003

对两张表进行连接，统计出用户名和订单号

hive> select u.name, o.orderid from order o join user u on o. user_id = u. user_id;

MapReduce过程

• map操作

对两张表进行map操作，因为是以user_id进行关联，所以user_id作为KEY

key	value
1	<1,张三>
2	<1,李四>

key	value
1	<2, 001>
1	<2, 002>
2	<2, 003>

value中的 1 和 2 作为分组标识

• 根据key排序

key	value
1	<1,张三>
1	<2, 001>
1	<2, 002>
2	<1,李四>
2	<2, 003>

• reduce操作

根据分组标识来区分，最后得出

name	order_id
张三	001
张三	002
李四	003

这样就通过SQL完成了MapReduce统计

点击 “阅读原文” 查看 文章列表