MapReduce涔婥ombiner鍚堝苟
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了MapReduce涔婥ombiner鍚堝苟相关的知识，希望对你有一定的参考价值。
鏍囩锛?a href='http://www.mamicode.com/so/1/strong' title='strong'>strong
apr src 缃戠粶 type size 鎺ユ敹 鍒嗘暟 褰卞搷
-
Combiner鏄疢R绋嬪簭涓?code>Mapper鍜孯educer
Combinr缁勪欢鐨勭埗绫诲氨鏄?code>Reducer
Conbimer鍙湁鍦ㄩ┍鍔ㄧ被閲岃缃簡涔嬪悗锛屾墠浼氳繍琛?br>
Combiner鍜孯educer鐨勫尯鍒?/strong>鍦ㄤ簬杩愯鐨勪綅缃細
map----sort---copy---sort(shuffle闃舵)---reduce
- ==Combiner鏄湪姣忎竴涓狹apTask鎵€鍦ㄧ殑鑺傜偣杩愯
- Reducer鏄帴鏀跺叏灞€鎵€鏈塎apper鐨勮緭鍑虹粨鏋?=
-
Combiner鐨勬剰涔夊氨鏄姣忎竴涓狹apTask鐨勮緭鍑鸿繘琛?mark>灞€閮ㄦ眹鎬?/mark>锛屼互鍑忓皬缃戠粶浼犺緭閲?鍑忓皯纾佺洏IO鍜岀綉缁淚O)
-
Cormbiner鑳藉搴旂敤鐨勫墠鎻愭槸涓嶈兘褰卞搷鏈€缁堢殑涓氬姟閫昏緫锛岃€屼笖锛孋ombiner鐨勮緭鍑簁v搴旇璺烺educer鐨勮緭鍏v绫诲瀷瑕佸搴旇捣鏉ャ€?Combiner鐢ㄥ湪鍔犲噺鎿嶄綔鐨勫満鏅紝涓嶈兘鐢ㄥ湪涔橀櫎鎿嶄綔鐨勫満鏅?br> 姣斿锛?br>
-
Combiner鏃㈡湁鍙兘鍦∕apTask绔皟鐢細
鈶犳瘡娆℃孩鍐欏墠浼氳皟鐢–ombiner瀵规孩鍐欑殑鏁版嵁杩涜灞€閮ㄥ悎骞?br> 鈶″湪merge鏃讹紝濡傛灉婧㈠啓鐨勭墖娈垫暟>=3锛屽鏋滆缃簡Combiner锛孋ombiner浼氬啀娆″
鏁版嵁杩涜Combine锛?/p> -
Combiner鏃㈡湁鍙兘鍦≧educeTask绔皟鐢細
鈶huffle绾跨▼鎷疯礉澶氫釜MapTask鍚屼竴鍒嗗尯鐨勬暟鎹紝鎷疯礉鍚庢墽琛宮erge鍜宻ort,
濡傛灉鏁版嵁閲忚繃澶э紝闇€瑕佸皢閮ㄥ垎鏁版嵁鍏堝悎骞舵帓搴忓悗锛屾孩鍐欏埌纾佺洏锛?br> 濡傛灉璁剧疆浜咰ombiner锛孋ombiner浼氬啀娆¤繍琛岋紒
以上是关于MapReduce涔婥ombiner鍚堝苟的主要内容，如果未能解决你的问题，请参考以下文章