Linux里面hdfs作用是啥？

Posted 2023-03-19

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。
HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。 参考技术A 我们通过 hadoop shell上传的文件是存放在 DataNode的block中, 通过 linux shell是看 不到文件的,只能看到block。 可以一句话描述HDFS:把客户端的大文件存放在很多节点的数据块中 参考技术B (2)HDFS设计思想 3,HDFS架构 4,HDFS特点 优点: (1)构建在廉价的机器上 a: 通过多副本提高可靠性 b: 提供了容错和恢复机制 (2)高容错性 a. 数据自动保存多个副本 参考技术C Linux里面hdfs作用是批量数据的分布式存储和处理。 参考技术D Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件（commodity hardware）上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的

Linux里面YARN作用是啥？

yarn是一个进行nodejs包管理的工具，可以方便管理nodejs依赖包，功能类似npm，但是包依赖管理上更方便。 参考技术A Linux里面Yarn是一个分布式资源管理和调度平台，负责为运算程序提供服务器运算资源。其上可运行各类分布式运算程序。相当于一个分布式的操作系统平台。 参考技术B Hadoop，MapReduce，YARN和Spark的区别与联系 这张图就是一个简单的Hadoop生态圈，MapReduce是负责读取HDFS里面的数据，YARN是负责资源调度的，Spark就不用说了，它是一种与 Hadoop 相似的开源集群计算环境，更多知识请查看《Linux就该这么学》 参考技术C Hadoop，MapReduce，YARN和Spark的区别与联系 这张图就是一个简单的Hadoop生态圈，MapReduce是负责读取HDFS里面的数据，YARN是负责资源调度的，Spark就不用说了，它是一种与 Hadoop 相似的开源集群计算环境，更多知识请查看《Linux就该这么学》 参考技术D Hadoop，MapReduce，YARN和Spark的区别与联系 这张图就是一个简单的Hadoop生态圈，MapReduce是负责读取HDFS里面的数据，YARN是负责资源调度的，Spark就不用说了，它是一种与 Hadoop 相似的开源集群计算环境，更多知识请查看《Linux就该这么学》