影响分布式文件系统（如HDFSGPFS）性能的因素有哪些？

Posted 2021-04-14 twt企业IT社区

分布式文件系统在存储海量非结构化数据时，其处理性能和应用程序有着密切的关联性，我们在建设和维护期间，需要着重关注哪几个影响性能的因素呢？

willow 某银行系统工程师

简单列举几项如下：

1、元数据管理：重点关注元数据服务器的复制结构和查询策略、元数据服务器的硬件配置（CPU/内存/缓存大小）、元数据服务器处理线程数量等

2、存储节点性能：重点关注存储节点底层磁盘I/O、系统读写cache大小等。

3、存储网络性能：关注分布式文件系统中存储网络对数据传输速率的影响。

4、客户端支持：不同的分布式文件系统对客户端的支持是有差别的，要关注文件系统I/O吞吐是否能够对客户端增加有较好的可扩展性。

Jhon  智慧农信技术经理

从数据分布的情况去分析

1.热点数据分布不均衡

2.各个磁盘的实际使用量差距

3.缓存这块的需求

4.基于分布式文件系统的考虑 不管是nas还是san 网络文件流的考虑很重要

5.各个数据节点之间是否考虑做冗余，负载均衡，大并发处理等

赵海川  新浪云计算项目经理

再补充几点：

replication数；

block size；

服务线程数；

视具体情况，选用合适的调度算法；

尽量减少磁盘操作；

尽可能降低网络传输数据量

出自活动“如何对PB级甚至EB级的海量非结构化数据进行有效管理？”，点击阅读原文可以浏览该活动更多内容。