FastDFS分布式文件系统入门

Posted 2023-03-16

一、介绍

1.1 FastDFS的简介和特点

FastDFS（Fast Distributed File System）是一款开源的分布式文件系统，它提供了高性能、高可靠性、高扩展性和高容错性的分布式文件存储解决方案。FastDFS采用了类似于Google File System（GFS）的架构，它的设计目标是解决大规模数据存储和高访问速度的问题。

FastDFS具有以下特点：

1. 分布式架构：FastDFS采用分布式的设计，能够通过多台服务器共同完成文件存储和访问的任务，可以实现存储容量的无限扩展。
2. 高性能：FastDFS采用了文件分块存储和负载均衡技术，可以实现高速读写，适用于高并发、大文件的存储和访问。
3. 高可靠性：FastDFS采用了多台服务器备份和心跳检测机制，能够确保数据的安全性和高可靠性。
4. 易于部署和管理：FastDFS采用了简单的部署和管理方式，易于安装和配置，对于需要快速搭建分布式存储的场景具有较高的适用性。
5. 支持多种文件格式：FastDFS支持多种文件格式，包括图片、视频、文本等常见格式，可以满足不同业务需求的存储要求。

总之，FastDFS是一款高性能、高可靠性、易于部署和管理的分布式文件系统，适用于需要高速、大规模数据存储和访问的场景。

1.2 为什么选择使用FastDFS

1. 高可靠性：FastDFS具备多台服务器备份和心跳检测机制，可以保证数据的安全性和高可靠性。如果一个服务器故障，数据可以快速地恢复到其他服务器上。
2. 高性能：FastDFS采用了文件分块存储和负载均衡技术，可以实现高速读写，适用于高并发、大文件的存储和访问。它还具备文件上传和下载的断点续传功能，能够在网络异常的情况下保证文件传输的可靠性。
3. 易于部署和管理：FastDFS采用了简单的部署和管理方式，易于安装和配置，对于需要快速搭建分布式存储的场景具有较高的适用性。
4. 良好的扩展性：FastDFS采用分布式的设计，可以通过多台服务器共同完成文件存储和访问的任务，可以实现存储容量的无限扩展。
5. 开源免费：FastDFS是一款完全开源免费的软件，可以根据自己的需要进行二次开发和定制，避免了使用商业软件带来的高成本问题。

选择使用FastDFS可以帮助我们快速搭建高性能、高可靠性、易于部署和管理的分布式文件存储系统，满足大规模数据存储和高访问速度方面的需求。

1.3 相关概念的介绍：Tracker Server和Storage Server

Tracker Server和Storage Server是FastDFS分布式文件系统中的两个重要组件，其作用分别如下：

Tracker Server

Tracker Server是FastDFS的跟踪器服务器，负责管理所有Storage Server节点，以及存储文件的元数据信息，包括文件名、文件大小、文件创建时间、文件存储位置等。客户端上传文件时，会先向Tracker Server发送请求，Tracker Server会返回一组可用的Storage Server节点列表，客户端再选择其中一个Storage Server进行文件上传。

Storage Server

Storage Server是FastDFS的存储服务器，负责存储客户端上传的文件数据和元数据信息。每个Storage Server节点都有自己的存储空间，可以通过多个Storage Server节点组成分布式存储系统，实现存储容量的无限扩展。在文件上传过程中，客户端会将文件数据分成多个文件块并分别上传到不同的Storage Server节点上，每个节点保存自己的文件块，从而实现文件的分布式存储和快速读取。

需要注意的是，Tracker Server和Storage Server是两个独立的服务，可以分别部署在不同的服务器上。Tracker Server负责管理Storage Server节点，而Storage Server则负责存储文件数据和元数据信息。当需要扩展存储空间时，可以通过增加Storage Server节点的方式实现存储容量的无限扩展。

二、环境搭建

2.1 安装和配置Tracker Server和Storage Server

下面是在CentOS 7操作系统上安装和配置FastDFS的Tracker Server和Storage Server的详细步骤：

安装FastDFS和nginx

在CentOS 7系统上，可以通过yum包管理器安装FastDFS和Nginx fastdfs模块：

# 安装FastDFS和Nginx
sudo yum install -y fastdfs-5.11 fastdfs-nginx-module-1.22

配置Tracker Server

在安装完FastDFS和Nginx之后，需要对Tracker Server进行配置。修改FastDFS配置文件​​/etc/fdfs/tracker.conf​​​，设置​​tracker_server​​​和​​http.server_port​​参数：

# Tracker Server配置文件（tracker.conf）

# Tracker Server的IP地址和端口
bind_addr=192.168.1.100
port=22122

# 存储日志文件的路径
log_file=/var/log/fdfs/trackerd.log

# 存储元数据信息的路径
base_path=/var/fdfs/tracker

# 设置可访问的Storage Server节点的IP地址和端口
# 多个Storage Server之间用逗号分隔
tracker_server=192.168.1.101:23000

# 设置HTTP访问的端口号
http.server_port=8888

# 设置访问日志文件的路径
http.log_file=/var/log/fdfs/httpd.log

修改完配置文件后，启动Tracker Server服务：

# 启动Tracker Server服务
sudo systemctl start fdfs_trackerd

配置Storage Server

对于Storage Server的配置，同样需要修改配置文件​​/etc/fdfs/storage.conf​​​，设置​​group_name​​​、​​store_path​​​、​​tracker_server​​等参数：

# Storage Server配置文件（storage.conf）

# 设置Storage Server所属的组名，用于标识一组Storage Server
group_name=group1

# 存储日志文件的路径
log_file=/var/log/fdfs/storaged.log

# 存储数据文件的路径
store_path0=/var/fdfs/storage

# 设置可访问的Tracker Server节点的IP地址和端口
# 多个Tracker Server之间用逗号分隔
tracker_server=192.168.1.100:22122

# 指定Storage Server的HTTP访问端口号
http.server_port=8888

# 访问日志文件的路径
http.log_file=/var/log/fdfs/httpd.log

配置完Storage Server后，启动Storage Server服务：

# 启动Storage Server服务
sudo systemctl start fdfs_storaged

配置Nginx

最后，需要对Nginx进行配置，将文件上传和下载的HTTP请求转发到FastDFS的Storage Server节点上。修改Nginx配置文件​​/etc/nginx/conf.d/fastdfs.conf​​，添加以下内容：

# Nginx配置文件（fastdfs.conf）

# 设置FastDFS的Tracker Server的IP地址和端口
upstream tracker 
  server 192.168.1.100:22122;


# 设置FastDFS的Storage Server的IP地址和端口
upstream storage 
  server 192.168.1.101:8888;


# 设置Nginx监听的端口号
server 
  listen 80;
  server_name localhost;

  # 文件上传请求的处理
  location /upload 
    # 指定处理该请求的模块
    ngx_fastdfs_module;

    # 指定上传文件的最大大小
    ngx_fastdfs_max_file_size 500m;

    # 指定上传文件的存储位置，需要与Storage Server的配置一致
    ngx_fastdfs_store_path /var/fdfs/storage/data;

    # 指定FastDFS的Tracker Server和Storage Server的地址
    ngx_fastdfs_tracker_server tracker:22122;
    ngx_fastdfs_storage_server storage:8888;

    # 指定上传文件的后缀名
    ngx_fastdfs_file_exts jpg,jpeg,gif,png,mp4,avi,wmv,flv,mp3,txt;

    # 指定上传文件的URL路径
    ngx_fastdfs_file_url_prefix http://localhost:8888;
  

  # 文件下载请求的处理
  location /group1/M00 
    # 指定处理该请求的模块
    ngx_fastdfs_module;

    # 指定FastDFS的Tracker Server和Storage Server的地址
    ngx_fastdfs_tracker_server tracker:22122;
    ngx_fastdfs_storage_server storage:8888;

    # 指定下载文件的存储位置，需要与Storage Server的配置一致
    ngx_fastdfs_store_path /var/fdfs/storage/data;

    # 指定下载文件的URL路径
    ngx_fastdfs_file_url_prefix http://localhost:8888;

    # 指定下载文件的后缀名
    ngx_fastdfs_file_exts jpg,jpeg,gif,png,mp4,avi,wmv,flv,mp3,txt;
  

修改完Nginx配置文件后，重新加载配置文件并启动Nginx服务：

# 重新加载Nginx配置文件
sudo systemctl reload nginx

# 启动Nginx服务
sudo systemctl start nginx

至此，Tracker Server、Storage Server和Nginx均已配置完成。可以通过访问Nginx的HTTP接口，实现文件上传和下载。

三、Java客户端API

3.1 文件的上传和下载

FastDFS提供了Java客户端API，可以通过Java代码调用API实现文件的上传和下载。下面介绍如何使用Java客户端API。

1、添加依赖

在​​pom.xml​​文件中添加如下依赖：

<dependency>
    <groupId>org.csource</groupId>
    <artifactId>fastdfs-client-java</artifactId>
    <version>1.29-SNAPSHOT</version>
</dependency>

2、创建一个配置文件

在Java项目的​​resources​​​目录下，创建一个​​fdfs_client.properties​​文件，并添加如下内容：

# tracker_server指定Tracker Server的地址和端口号
tracker_server=tracker:22122

# connect_timeout指定连接超时时间，单位为毫秒
connect_timeout=5000

# network_timeout指定网络超时时间，单位为毫秒
network_timeout=30000

# charset指定字符集，可选值为UTF-8和GBK
charset=UTF-8

3、编写Java代码

下面是一个简单的Java代码示例，实现了文件的上传和下载：

import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;

import java.io.File;
import java.io.FileInputStream;
import java.io.InputStream;
import java.net.URLDecoder;

public class FastDFSClient 
    private static final String CONF_FILENAME = "fdfs_client.properties";

    static 
        try 
            String confFilePath = URLDecoder.decode(FastDFSClient.class.getClassLoader().getResource(CONF_FILENAME).getPath(), "UTF-8");
            ClientGlobal.init(confFilePath);
         catch (Exception e) 
            e.printStackTrace();
        
    

    public static String[] upload(File file) throws Exception 
        byte[] fileBytes = getFileBytes(file);
        String fileName = file.getName();
        String ext = fileName.substring(fileName.lastIndexOf(".") + 1);
        NameValuePair[] metaList = new NameValuePair[3];
        metaList[0] = new NameValuePair("fileName", fileName);
        metaList[1] = new NameValuePair("fileExt", ext);
        metaList[2] = new NameValuePair("fileSize", String.valueOf(file.length()));
        TrackerClient trackerClient = new TrackerClient();
        TrackerServer trackerServer = trackerClient.getConnection();
        StorageServer storageServer = null;
        StorageClient1 storageClient = new StorageClient1(trackerServer, storageServer);
        String[] uploadResults = storageClient.upload_file(fileBytes, ext, metaList);
        return uploadResults;
    

    public static InputStream download(String fileId) throws Exception 
        TrackerClient trackerClient = new TrackerClient();
        TrackerServer trackerServer = trackerClient.getConnection();
        StorageServer storageServer = null;
        StorageClient1 storageClient = new StorageClient1(trackerServer, storageServer);
        byte[] fileBytes = storageClient.download_file1(fileId);
        return new ByteArrayInputStream(fileBytes);
    

    private static byte[] getFileBytes(File file) throws Exception 
        InputStream is = new FileInputStream(file);
        ByteArrayOutputStream bos = new ByteArrayOutputStream();
        byte[] buffer = new byte[4096];
        int n;
        while ((n = is.read(buffer)) != -1) 
            bos.write(buffer, 0, n);
        
        is.close();
        bos.close();
        return bos.toByteArray();
    

上述代码中，​​upload()​​​方法用于上传文件，​​download()​​​方法用于下载文件。​​File​​​为待上传的文件对象，​​fileId​​为文件在FastDFS中的标识。

4. 测试代码

在编写完Java代码后，可以编写一个测试类来测试代码的正确性。下面是一个简单的测试类：

public class FastDFSTest 
    @Test
    public void testUpload() throws Exception 
        File file = new File("/path/to/file");
        String[] uploadResults = FastDFSClient.upload(file);
        System.out.println(Arrays.toString(uploadResults));
    

    @Test
    public void testDownload() throws Exception 
        String fileId = "group1/M00/00/00/wKgAgl0BfrOAJjjcAAABFrcjKdM.txt";
        InputStream is = FastDFSClient.download(fileId);
        byte[] buffer = new byte[4096];
        int n;
        while ((n = is.read(buffer)) != -1) 
            // 处理文件内容
        
        is.close();
    

在测试类中，​​testUpload()​​​方法用于测试文件上传功能，​​testDownload()​​方法用于测试文件下载功能。

5. 注意事项

在使用FastDFS Java客户端API时，需要注意以下几点：

• 需要在代码中指定​​fdfs_client.properties​​文件的位置和名称。
• 需要在代码中指定Tracker Server的地址和端口号。
• 在上传文件时，需要指定文件的元数据（比如文件名、文件扩展名、文件大小等）。
• 文件上传成功后，返回的结果是一个长度为2的字符串数组，第一个元素为文件所在的组名，第二个元素为文件的路径（不包含组名）。
• 文件下载成功后，返回的是一个​​InputStream​​对象，可以根据需要将其转换为字节数组或字符流进行处理。

3.2 文件删除和查询功能

文件删除

在进行文件删除之前，需要创建一个FastDFS客户端对象，并指定Tracker Server的地址和端口号。然后，可以使用​​delete()​​方法删除文件。该方法接受一个文件ID作为参数，如果删除成功则返回0，否则返回非0的错误码。

以下是一个简单的删除文件的示例代码：

public class FastDFSDeleteTest 
    public static void main(String[] args) throws Exception 
        // 指定Tracker Server的地址和端口号
        String trackerUrl = "192.168.1.100:22122";
        FastDFSClient fastDFSClient = new FastDFSClient(trackerUrl);

        // 删除文件
        String fileId = "group1/M00/00/00/wKgAgl0BfrOAJjjcAAABFrcjKdM";
        int deleteResult = fastDFSClient.delete(fileId);

        // 打印删除结果
        if (deleteResult == 0) 
            System.out.println("delete file success");
         else 
            System.out.println("delete file fail, error code: " + deleteResult);
        
    

文件查询

在进行文件查询之前，需要创建一个FastDFS客户端对象，并指定Tracker Server的地址和端口号。然后，可以使用​​queryFileInfo()​​​方法查询文件信息。该方法接受一个文件ID作为参数，返回一个​​FileInfo​​对象，其中包含了文件的元数据（比如文件名、文件扩展名、文件大小等）。

以下是一个简单的查询文件的示例代码：

public class FastDFSQueryTest 
    public static void main(String[] args) throws Exception 
        // 指定Tracker Server的地址和端口号
        String trackerUrl = "192.168.1.100:22122";
        FastDFSClient fastDFSClient = new FastDFSClient(trackerUrl);

        // 查询文件
        String fileId = "group1/M00/00/00/wKgAgl0BfrOAJjjcAAABFrcjKdM";
        FileInfo fileInfo = fastDFSClient.queryFileInfo(fileId);

        // 打印文件元数据
        System.out.println("file name: " + fileInfo.getFileName());
        System.out.println("file ext: " + fileInfo.getFileExt());
        System.out.println("file size: " + fileInfo.getFileSize());
    

以上是FastDFS Java客户端API实现文件删除和查询功能的示例代码，可以根据需要进行修改和扩展。

四、高可用性

1、准备工作

在搭建FastDFS集群之前，需要准备多台服务器，其中一台作为Tracker Server，其他服务器作为Storage Server。同时，需要确保服务器之间可以互相访问，以便实现文件的上传、下载和复制等操作。

2、部署Tracker Server

在任意一台服务器上安装Tracker Server，并在配置文件​​/etc/fdfs/tracker.conf​​中设置Tracker Server的地址和端口号。

3、部署Storage Server

在每台Storage Server上安装Storage Server，并在配置文件​​/etc/fdfs/storage.conf​​中设置Tracker Server的地址和端口号，以及Storage Server的组名、存储路径等信息。注意，每个Storage Server的组名必须唯一。

4、启动服务

在每台服务器上启动Tracker Server和Storage Server服务。

5、配置防火墙

如果服务器开启了防火墙，需要添加相应的规则，以允许FastDFS的数据传输。具体的规则可以参考FastDFS官方文档。

6、验证集群

在任意一台服务器上安装FastDFS客户端，并使用​​fdfs_upload_file​​​命令上传一个文件，然后使用​​fdfs_download_file​​命令下载该文件。如果上传和下载都成功，则说明集群搭建成功。

五、性能优化

以下是一些常用的配置参数：

1. tracker_server：指定Tracker Server的地址和端口号，格式为​​ip:port​​。可以配置多个Tracker Server，用逗号分隔。
2. connect_timeout：设置连接Tracker Server和Storage Server的超时时间，默认为5秒。
3. network_timeout：设置上传和下载文件的超时时间，默认为30秒。
4. http.tracker_http_port：设置Tracker Server的HTTP端口号，默认为80。
5. storage_sync_file_max_delay：设置同步文件的最大延迟时间，默认为86400秒（一天）。
6. max_connections：设置客户端连接池中连接的最大数量，默认为30。
7. upload_priority：设置文件上传的优先级，值越大优先级越高。默认为10。
8. download_thread_count：设置下载文件时的线程数量，默认为1。

可以通过修改上述配置参数来优化FastDFS的性能。例如，增加max_connections的数量可以提高客户端并发连接数，从而提高上传和下载文件的速度；增加download_thread_count的数量可以提高下载文件的并发度，也可以提高下载速度。但是需要根据实际情况进行调整，以避免出现性能下降或其他问题。

分布式文件系统FastDFS原理及入门

1、简介：FastDFS是用C语言编写的一款开源的分布式文件系统，FastDSF充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等特点，使用FastDFS可以很容易的搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

2、原理：FastDFS系统结构如下图所示：

 

FastDFS分为Tracker、Storage，其中Storage负责存储文件，Tracker负责存储文件所在地址，主要作用是负载均衡和资源调度。

Tracker、Storage都可以实现集群部署，Tracker的每个节点地位平等，而Storage可以分为多个组，每个组之间保存的文件是不同的，组内部分为多个成员，每个成员保存的内容是一样，组成员地位一致，没有主从概念。

使用FastDFS存储文件优点：可以应对互联网的海量文件存储，一旦文件较多，可以随时横向扩展，且集群的实现也使系统不存在单点故障问题，用户不会因为服务器宕机而无法访问文件资源。

3.工作流程

文件上传：Client会先向Tracker询问存储地址，Tracker查询到存储地址后返回给Client，Client拿着地址直接和对应的Storage通讯，将文件上传至改Storage。

 

文件下载：同样，Client会向Tracker询问地址，并带上要查询的文件名和组名，Tracker查询后会将地址返回给Client，Client拿着地址和指定Storage通讯并下载文件。

 

4.安装部署

FastDFS安装过程很复杂，需要配置许多参数，我会另外写一篇专门配置FastDFS的文档。

5.测试Demo

1.创建Maven工程fastdfsdemo

安装Jar包到Maven本地仓库，使用如下命令：

mvn install:install-file -DgroupId=org.csource.fastdfs -DartifactId=fastdfs  -Dversion=1.2 -Dpackaging=jar -Dfile=d:setupfastdfs_client_v1.20.jar

在pom.xml中引入：

<dependency>

    <groupId>org.csource.fastdfs</groupId>

    <artifactId>fastdfs</artifactId>

    <version>1.2</version>

</dependency>

添加配置文件：fdfs_client.conf，修改服务器地址：

# tracker_server can ocur more than once, and tracker_server format is
# "host:port", host can be hostname or ip address
tracker_server=192.168.1.106:22122

创建Java测试类：

 1 　　　　　// 1、加载配置文件，配置文件中的内容就是 tracker 服务的地址。
 2         ClientGlobal.init("D:/maven/fastdfsdemo/src/fdfs_client.conf");
 3         // 2、创建一个 TrackerClient 对象。
 4         TrackerClient trackerClient = new TrackerClient();
 5         // 3、使用 TrackerClient 对象创建连接，获得一个 TrackerServer 对象。
 6         TrackerServer trackerServer = trackerClient.getConnection();
 7         // 4、创建一个 StorageServer 的引用，值为 null
 8         StorageServer storageServer = null;
 9         // 5、创建一个 StorageClient 对象，需要两个参数 TrackerServer 对象、StorageServer 的引用
10         StorageClient storageClient = new StorageClient(trackerServer, storageServer);
11         // 6、使用 StorageClient 对象上传图片。
12         //扩展名不带"."
13         String[] strings = storageClient.upload_file("D:/pic/demo1.jpg", "jpg",null);14         // 7、返回数组。包含组名和图片的路径。
15         for (String string : strings) {
16             System.out.println(string);
17         }