Hadoop应用实战100讲-Hadoop分布式文件系统

Posted 2021-10-11 文宇肃然

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Hadoop应用实战100讲-Hadoop分布式文件系统相关的知识，希望对你有一定的参考价值。

前言

当大数据到大一定程度时，系统会进行分布存储，HDFS以流式数据访问的模式可以运行到普通的商用服务器集群上，完成了分布式存储的功能，同时也向客户开放了HDFS相应的访问接口，以满足不同的需求。

以下是我为大家准备的几个精品专栏，喜欢的小伙伴可自行订阅，你的支持就是我不断更新的动力哟！

一.HDFS的工作原理

HDFS中的数据是分布存储的，默认块的大小为128MB(Hadoop低版本默认为64MB,这个值可以在配置文件中更改）但是如何修改呢？

在hdfs-site.xml文件进行修改，如果在修改的时候，需要停掉HADOOP的运行进程，修改完毕后，重新启动。

分块处理的好处是可以增加读取数据的吞吐量，通过数据结构的模型，以流式的多副本模式存储于集群中各个节点

以上是关于Hadoop应用实战100讲-Hadoop分布式文件系统的主要内容，如果未能解决你的问题，请参考以下文章