Hadoop介绍

Posted linyufeng

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop介绍相关的知识,希望对你有一定的参考价值。

Hadoop是Apache基金会所开发的分布式系统基础架构。最核心的设计就是:HDFSMapReduce

  • HDFS为海量的数据提供了存储
  • MapReduce则为海量的数据提供了计算

HDFS 分布式文件系统(Hadoop Distributed File System)可以把低廉的硬件设备,比如废旧主机。联系起来组成分布式集群,实现存储海量数据、高吞吐量和高容错性,性能远高于一般数据库(mysql Oracle)

  • NameNode节点: 存放元数据信息,记录真实数据的存储位置
  • Secondary NameNode节点: 合并fsimage镜像和logs日志
  • DataNode节点: 存放真实数据

MapReduce 海量数据并行计算,运行在HDFS之上。主要功能是海量数据的查询、处理、计算等功能

Yarn模块,用来调度MapReduce的任务

  • NodeManager 节点管理
  • ResourceManager 资源管理

Hadoop搭建3种方式:

  • Local (Standalone) Mode 本地(独立)模式
  • Pseudo-Distributed Mode 伪分布式模式
  • Fully-Distributed Mode 完全分布式模式

以上是关于Hadoop介绍的主要内容,如果未能解决你的问题,请参考以下文章

hadoop是啥 hadoop介绍

大数据概念及Hadoop介绍

学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop配置参数介绍Hadoop集群启动与监控

hadoop之hadoop基础介绍

学习笔记Hadoop—— Hadoop介绍

大数据-Hadoop生态-Hadoop介绍