大数据MapReduce 编程实战

Posted 2020-11-03

MapReduce 编程实战

一、大数据的起源
1、举例：（1）商品推荐 问题1：大量订单如何存储？
问题2：大量订单如何计算？
（2）天气预报： 问题1：大量的天气数据如何存储？
问题2：大量的天气数据如何计算？

2、大数据核心的问题：
    （1）数据的存储：分布式文件系统
    （2）数据的计算：分布式计算（MapReduce）

3、MapReduce的计算模型的来源
    （1）根据Google发表一篇论文：MapReduce
    （2）问题：PageRank（网页排名）---> 举例

二、MapReduce的编程模型
Demo 演示：WordCount 单词计数
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input/data.txt /output/wc1

**三、MapReduce的处理数据流程（非常、非常、非常重要）

四、开发自己的MapReduce程序（Java程序）

五、Yarn调度的过程**

很多人都知道我有大数据培训资料，都天真的以为我有全套的大数据开发、hadoop、spark等视频学习资料。我想说你们是对的，我的确有大数据开发、hadoop、spark的全套视频资料。
如果你对大数据开发感兴趣可以加口群领取免费学习资料： 763835121