Hive Map Join

Posted 2020-06-12

Hive中的Map Join即map side join工作原理是在Map端把小表加载到内存中，然后读取大表，和内存中的小表完成连接操作。MapJoin使用了分布式缓存技术。

Map Join的优点：

1.不消耗集群的reduce资源。

2.减少了reduce操作，加快了程序执行。

3.降低网络负载。

Map Join的缺点：

1.占用内存(所以加载到内存中的表不能过大，因为每个计算节点都会加载一次)。

2.生成较多的小文件。

 

我们有如下两种方式来执行Map Join：

1.配置一下参数，Hive会自动根据SQL选择common join或者是Map Join。

 

[java] view plain copy

 

1. hive (hive)> set hive.auto.convert.join=true;  
2. hive (hive)> set hive.mapjoin.smalltable.filesize=25000000;(默认值就是25MB)  

 

2.我们还可以手动指定使用Map join：

 

[java] view plain copy

 

1. hive (hive)> select /*+mapjoin(post)*/ user.id,user.name,post.pid,post.title from  user  
2.            > join post  
3.            > on user.id = post.uid;  

注：上述语句中的/*+mapjoin(表名)*/是语法格式，不是注释符号。

 

 

查询结果如下：

 

[java] view plain copy

 

1. id  name    pid title  
2. 1   lavimer 1   Thinking in Java  
3. 1   lavimer 2   Thinking in Hadoop  
4. 2   liaozhongmin    3   Thinking in C  

注：查询结果是和common join是一致的，但是Map join的效率高，因为它不走Reduce任务了，直接使用Map任务处理。