合集Hadoop 合集

Posted 山间一棵松

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了合集Hadoop 合集相关的知识,希望对你有一定的参考价值。


 

0. 说明

  Hadoop 随笔的目录

 


 1. HDFS

  主要内容:

   [HDFS_1] HDFS 的概念和特性

   [HDFS_2] HDFS 的 Shell 操作

  [HDFS_3] HDFS 工作机制

  [HDFS_4] HDFS 的 Java 应用开发

  [SequenceFile_1] Hadoop 序列文件

  [SequenceFile_2] SequenceFile 的基本操作

  [SequenceFile_3] MapFile

  [SequenceFile_4] SequenceFile 配置压缩

  [Compression] Hadoop 压缩

 

  附加内容:

  [HDFS_add_1] HDFS 启动过程分析

  [HDFS_add_2] SecondaryNameNode 滚动 NameNode 数据流程

  [HDFS_add_3] HDFS 机架感知

 

  遇到问题及解决方案

  【爬坑】DataNode 无法正常启动解决方案

 

 


 

2. MapReduce

  主要内容:

  [MapReduce_1] 运行 WordCount 示例程序

  [MapReduce_2] MapReduce 内部的运行机制

   [MapReduce_3] MapReduce 程序运行流程解析

   [MapReduce_4] MapTask 并发数的决定机制

  [MapReduce_5] MapReduce 中的 Combiner 组件应用

  [MapReduce_6] MapReduce 中的序列化框架及应用

  [MapReduce_7] MapReduce 中的排序

  [MapReduce_8] MapReduce 中的自定义分区实现

  [MapReduce_9] MapReduce 的 Shuffle机制

  [MapReduce_10] MapReduce 利用数据压缩进行优化

  [MapReduce_11] MapReduce 程序与 YARN 之间的关系

  [MapReduce_12] MapReduce 参数优化

  [MapReduce_13] MapReduce 的 Java 应用开发

 

  附加内容

  [MapReduce_add_1] Windows 下开发 MapReduce 程序部署到集群

  [MapReduce_add_2] MapReduce 实现年度最高气温统计

  [MapReduce_add_3] MapReduce 通过分区解决数据倾斜

  [MapReduce_add_4] MapReduce 的 join 操作

  [MapReduce_add_5] MapReduce 实现标签的生成与聚合 

 


 

以上是关于合集Hadoop 合集的主要内容,如果未能解决你的问题,请参考以下文章

最强技术Hadoop家族Cloudera系列sparkstorm...技术大合集

最全的大数据技术大合集:Hadoop家族Cloudera系列sparkstorm...该有的都有了

Hadoop学习资料(持续更新)

大数据视频教程合集

大数据学习与分享技术干货合集

2021最全大数据面试题汇总---hadoop篇,附答案!