Hadoop learning

Posted 2020-07-29 kane_zch

1.Hadoop1.0和2.0的区别

1.0 = hdfs + mapreduce 

2.0 = hdfs + yarn + mapreduce + other dataprocess 

 

2.软件层次

1. 分布式存储层 HDFS

a,良好的扩展性

b,高容错性

c,适合PB以上的数据

组成： master name node + standby name node

        datanode存储实际的数据

        namenode建立数据的索引

缺点：1，不适合低延迟的访问（毫秒级）

        2，master slave 结构不适合小文件存储 

         3，不支持并发写入，随机修改

2.集群资源管理层 YARN

使得多个计算框架运行在一个集群里

以前只有一个mapreduce,后来又有了storm, spark计算框架

组成：Resource Manager + NodeManager(每一个节点)

 

1.提高资源利用率，避免多个计算框架使用不同的集群

2.引入中间层，来管理资源的分配（资源管理层）

3.可以减少集群运维人员

4.有利于数据共享，多个计算框架共享数据资源，避免数据在多个集群中移动

3.分步式计算层 spark storm等分布式计算框架

 

应用程序的多样性需要用到不同的计算框架

4.HIVE

直接写MapReduce程序是比较麻烦的，因此引入HIVE，它提供了HQL语句到MR的翻译，所以我们直接写HQL就好

5.Pig与HIVE解决的问题基本上是一致的，pig是一种新的语言，很多传统公司建议用HIVE即可