Hadoop是什么?
- Hadoop是由Apache基金会所开发的分布式系统基础架构
- 主要解决,海量数据的存储和海量数据的分析计算问题
- 广义上来说,Hadoop通常是指一个更广泛的概念—-Hadoop生态圈
Hadoop发展历史
-
Lucene框架是Doug Cutting开创的开源软件,用java书写代码,实现与Google类似的全文搜索功能,它提供了全文检索引擎的架构,包括完整的查询引擎和索引引擎
-
2001年底Lucene成为Apache基金会的一个子项目
-
对于海量数据的场景,Lucene面对与Google同样的困难,存储数据困难,检索速度慢
-
学习和模仿Google解决这些问题的办法:微型版Nutch
-
可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)
- GFS → HDFS
- Map-Reduce → MR
- BigTable → HBase
-
2003年到2004年,Google公开了部分GFS和MapReduce的思想细节,以此为基础Doug Cutting等人用了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升
-
2005年,Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会
-
2006年3月份,Map-Reduce和Nutch Distributed File System(NDFS)分别被纳入称为Hadoop的项目中
-
名字来源于Doug cutting儿子的玩具大象
-
Hadoop就此诞生并迅速发展,标志着大数据时代来临
Hadoop三大发行版本
Apache hadoop 版本最原始(最基础)的版本,对入门学习最好
Cloudera 在大型公司的企业中用的较多
Hortonworks 文档较好
cloudera hadoop
2008年成立的cloudera是最早将hadoop商用的公司,为合作伙伴提供hadoop的商用解决方案,主要包括支持、咨询服务、培训
2009年,hadoop创始人Doug cutting也加盟cloudera公司。Cloudera公司的主要产品是CDH,Cloudera Manager,Cloudera Support
CDH是Cloudera的Hadoop发行版,完全开源,比Apache hadoop在兼容性,安全性,稳定性上有所增强
Cloudera Manager是集群的软件分发及管理监控平台,可以在几小时内部署好一个hadoop集群,并对集群的节点及服务进行实时监控。Cloudera Support即是对hadoop的技术支持
Cloudera的标价为每年每个节点4000美元。
Cloudera开发并贡献了可实时处理大数据的Impala项目
hortonworks hadoop
2011年成立的hortonworks是雅虎与硅谷风投公司Benchmark Capital合资组建。
公司成立之初就吸纳了大约25到30名专门研究Hadoop的雅虎工程师,上述工程师均在2005年初开始协助雅虎开发Hadoop,贡献了Hadoop 80%的代码
雅虎工程副总裁、雅虎Hadoop开发团队负责人Eric Baldeschwieler出任hortonworks的首席执行官
hortonworks主打的产品是hortonworks Data Platform(HDP),也同样是100%开源的产品,HDP除常见的项目外还包括了Ambari,一款开源的安装和管理系统
HCatalog,一个元数据管理系统,现已集成到Facebook开源的Hive中
hortonworks的Stinger开创性的极大的优化了Hive项目
hortonworks为入门提供了一个非常好的,易于使用的沙盒
hortonworks开发了很多增强特性并提交至核心主干,这使得Apache Hadoop能够在包括Windows Server和Windows Azure在内的Microsoft Windows平台上本地运行。
定价以集群为基础,每10个节点每年12500美元
Hadoop的优势
- 高可靠性:Hadoop底层维护多个数据副本,即使Hadoop某个计算元素或存储出现故障,也不会导致数据的丢失
- 高扩展性:在集群间分配任务数据,可方便的扩展数以千计的节点
- 高效性:在MapReduce的思想下,Hadoop是并行工作的,以加快任务处理的速度
- 高容错性:能够自动将失败的任务重新分配