Hadoop与HDFS

Posted 2021-01-23 蜂巢巧克力面包

1.Hadoop与HDFS 的关系是什么？

hadoop中有3个核心组件：

分布式文件系统：HDFS —— 实现将文件分布式存储在很多的服务器上

分布式运算编程框架：MAPREDUCE —— 实现在很多机器上分布式并行运算

分布式资源调度平台：YARN —— 帮用户调度大量的mapreduce程序，并合理分配运算资源

2. hdfs dfs  与 hadoop fs 的区别？

两个命令是一样的（至少现在我是这样理解）

3. 怎样理解HDFS ？

文件分布式存储，一个文件存到HDFS上，HDFS会将该文件切分成块，存到N个linux机器系统中（存放块文件的角色为data node），此时需要记录块文件所在位置等信息（此角色为name node），

也就是说一个HDFS由一台运行了name node的服务器和N个运行了data node的服务器组成。