The Google File System论文拜读

Posted 2020-10-12

The Google File System
Sanjay Ghemawat, Howard Gobioff, and Shun-Tak Leung
Google?

 

 

摘要

我们设计并实现了谷歌文件系统，这是一个为大型分布式数据密集型的应用而设计的可伸缩的分布式文件系统。

它能够运行在廉价的商用机器上同时又提供了容错率，并且对大量客户端服务时提供了很高的聚合性能。

 

虽然GFS和之前的分布式文件系统在设计上有很多共同的目标，但是我们的设计同时也受到对我们应用负载和技术环境的观察而驱动，包括当前的和预期的，反映出和某些之前的文件系统假设不同的标志分离。

 

这种驱动迫使我们重新考量文件系统设计时的传统选择并且发掘出一些从根本上不同的设计点。

 

新的文件系统可以很好的满足我们的存储需求。它在Google中广泛部署用作存储平台为生成和处理的数据我们服务中使用的以及搜索和开发任务需要存储大量的数据集。目前为止最大的集群可以提供数百TB的数据分布在超过一千台机器的数千个磁盘上，并且并发地被数百个客户端所访问。

 

在本文中，我们提供了文件系统接口扩展被设计用于支持分布式的应用，讨论了我们设计中的很多方面，同时也报告了小的基准测试和实际使用的中的度量结果。

 

分类和学科描述

分布式文件系统

 

一般术语

设计，可靠性，性能，度量

关键词

容错，伸展性，数据存储，集群存储

 

 

1. 引言

我们设计并实现了Google File System（GFS）来Google快速增长的数据处理的需要。GFS和之前的分布式文件系统有很多共同的特点，比如性能，伸缩性，可靠性和可用性。然而，它的设计还来源于我们对应用负载和技术环境的重要的观察，包括了当前的和预估的，表现出了和一些以前的文件系统在设计假设上的标志性不同。我们重新考量在文件系统设计时的传统选择，发掘了在设计上根本的不同点。

 

首先，组件的失效是常态而不是仅仅会在异常的时候发生。新的文件系统中包含了数百个乃至数千个构建在廉价商用机器上的存储部件。组件的数量和质量实际上可以保证某些机器可以在任何给定的时间失效以及某些机器可以不从当前的故障中恢复过来。我们见到过由于应用bug，操作系统bug，人为因素和磁盘，内存，连接器，网络以及电力供应导致的失效而造成问题。因此，时刻的监视，错误检测，容错和自动回复必须集成到这个新的文件系统中。

 

第二，第二个毛线，回家了，有些地方不好翻译，不过大部分还是易读的，同时读了也有收获呀。

 

第二，以传统的标准来看，文件都是很大的。几个GB的文件都是常见的。每个文件通常都会包含多个应用对象比如web文件。当我们经常要处理很多增长迅速的包含了数百万个对象的TB级数据时，要管理数百万个在KB级大小的文件显得很笨重，即使文件系统对此提供支持。