hadoop学习摘要

Posted 2021-03-15 北京-Alisa

 

 

 

 

 

 

 

参考链接：https://www.zhihu.com/question/333417513

https://www.oschina.net/p/hbase

hadoop环境搭建：https://blog.csdn.net/hliq5399/article/details/78193113/

 

google的核心竞争技术是它的计算平台。Google的大牛们用了下面5篇文章，介绍了它们的计算设施。 

• GoogleCluster：http://research.google.com/archive/googlecluster.html
• Chubby：http://labs.google.com/papers/chubby.html
• GFS：http://labs.google.com/papers/gfs.html
• BigTable：http://labs.google.com/papers/bigtable.html
• MapReduce：http://labs.google.com/papers/mapreduce.html

google发布后，apache推出了类似的解决方案，那就是大名鼎鼎的Apache Hadoop项目，对应的结构分别是：

• Chubby–>ZooKeeper （用于分布式集群）
• GFS–>HDFS （用于分布式文件系统）
• BigTable–>HBase （有别于传统数据库的数据存储）
• MapReduce–>Hadoop（数据的逻辑处理）