大数据之Hadoop(MapReduce):MapReduce核心思想
Posted 浊酒南街
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了大数据之Hadoop(MapReduce):MapReduce核心思想相关的知识，希望对你有一定的参考价值。
1:MapReduce核心编程思想
2:MapReduce进程
一个完整的MapReduce程序在分布式运行时有三类实例进程；
1）、MrAppMaster:负责整个程序的运行调度及状态协调；
2）、MapTask:负责Map阶段的整个数据处理流程；
3）、ReduceTask:负责Reduce阶段的整个数据处理流程；
3.常用数据序列化类型
表4-1 常用的数据类型对应的Hadoop数据序列化类型
| Java类型 | Hadoop Writable类型 |
|---|---|
| Boolean | BooleanWritable |
| Byte | ByteWritable |
| Int | IntWritable |
| Float | FloatWritable |
| Long | LongWritable |
| Double | DoubleWritable |
| String | Text |
| Map | MapWritable |
| Array | ArrayWritable |
以上是关于大数据之Hadoop(MapReduce):MapReduce核心思想的主要内容，如果未能解决你的问题，请参考以下文章
大数据之Hadoop(MapReduce)：Map Join
大数据之Hadoop(MapReduce)： MapReduce框架原理
大数据之Hadoop(MapReduce)：Shuffle机制
大数据之Hadoop(MapReduce):MapReduce核心思想