Hadoop基础教程03
Posted songdongdong6
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop基础教程03相关的知识，希望对你有一定的参考价值。
第3章 理解MapReduce
3.1 键值对
3.1.1 具体含义
3.1.2 为什么采用键/值数据
3.1.3 MapReduce作为一系列键/值变换
3.2 MapReduce的Hadoop Java API
3.3 编写MapReduce程序
3.4 实践环节：设置classpath
3.5 实践环节：实现WordCount
3.6 实践环节：构建JAR文件
3.7 实践环节：在本地Hadoop集群运行WordCount
3.8 实践环节：在EMR上运行WordCount
3.8.1 0.20之前版本的Java MapReduce API
3.8.2 Hadoop提供的mapper和reducer实现
3.9 实践环节：WordCount的简易方法
3.10 查看WordCount的运行全貌
3.10.1 启动
3.10.2 将输入分块
3.10.3 任务分配
3.10.4 任务启动
3.10.5 不断监视JobTracker
3.10.6 mapper的输入
3.10.7 mapper的执行
3.10.8 mapper的输出和reducer的输入
3.10.9 分块
3.10.10 可选分块函数
3.10.11 reducer类的输入
3.10.12 reducer类的执行
3.10.13 reducer类的输出
3.10.14 关机
3.10.15 这就是MapReduce的全部
3.10.16 也许缺了biner
3.11 实践环节：使用biner编写WordCount
3.12 实践环节：更正使用biner的WordCount
3.13 Hadoop专有数据类型
3.13.1 Writable和Writable-Comparable接口
3.13.2 wrapper类介绍
3.14 实践环节：使用Writable包装类
3.15 输入/输出
3.15.1 文件、split和记录
3.15.2 InputFormat和RecordReader
3.15.3 Hadoop提供的InputFormat
3.15.4 Hadoop提供的RecordReader
3.15.5 OutputFormat和Record-Writer
3.15.6 Hadoop提供的OutputFormat
3.15.7 别忘了Sequence files
3.16 小结
以上是关于Hadoop基础教程03的主要内容，如果未能解决你的问题，请参考以下文章