Hadoop大数据处理架构
Posted learnwhileucan
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop大数据处理架构相关的知识，希望对你有一定的参考价值。
一、概述
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。是一个能够对大量数据进行分布式处理的软件框架。由Java开发，但开发其应用可以使用多种语言，C，C++，跨平台性非常好。
两大核心：解决了分布式存储和分布式处理两大问题
- HDFS（Hadoop Distributed File System）
- MapRedue
Hadoop 2.0 （Apache免费开源，企业版可以选择Cloudera，更方面都更优异(安装，计算等)）
- MapReduce（离线计算，批处理，基于磁盘），Spark（与MapReduce类似，基于内存，所以性能更优）
- YARN（资源分配，CPU，内存等等）
- HDFS（分布式储存）
下面是更详细的Hadoop生态系统
以上是关于Hadoop大数据处理架构的主要内容，如果未能解决你的问题，请参考以下文章