Hadoop介绍
Posted inlcude_cx
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop介绍相关的知识,希望对你有一定的参考价值。
1、Hadoop介绍
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台,为用户提供了一个系统底层细节透明的分布式架构,通过Hadoop,可以将大量的廉价机器的计算资源组织起来,解决单机不能解决的海量数据的处理问题。Hadoop主要有以下几个优点:
高可靠性:提供按位处理的存储和计算能力值得用户信赖。
高扩展性:可以轻松地从小量集群扩展到数以千计的节点中。
高效性:提供并发的分布式计算框架,处理速度非常快。
高容错性:即使在少量节点宕机的情况下,也能自动完成任务。
Hadoop主要的核心内容为MapReduce计算框架和HDFS文件系统,本文先简单介绍一下。
2、MapReduce框架介绍
"
Hadoop Map/Reduce是一个使用简易的软件框架,基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上,并以一种可靠容错的方式并行处理上T级别的数据集。"[1]
以上是关于Hadoop介绍的主要内容,如果未能解决你的问题,请参考以下文章