MR的join连接操作

Posted lyr999736

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MR的join连接操作相关的知识,希望对你有一定的参考价值。

  多表连接:将连接键(id)作为k2,v2采用自定义的Writable,writable中包含以下字段:标志位字段+业务字段(可能多个);reduce端做笛卡尔积。

  自连接(单表关联):对于给定的数据的key value 调换,并作些标记予以区别。

 

  map端连接:

    1.前提条件:小表尽可能小,一般情况在几十兆下;

    2.DistributedCache:分布式缓存

以上是关于MR的join连接操作的主要内容,如果未能解决你的问题,请参考以下文章

MapReduce-join连接

大数据ClickHouse进阶:ClickHouse的Array Join子句

SQL中JOIN操作详解

SQL中JOIN操作详解

MapReduce表连接操作之Reduce端join

在操作 jQuery 元素时,`array.join` 优于字符串连接的好处?