快速开启FastDFS之旅...

Posted 2020-12-21

一、FastDFS基本概念及基本原理

1.什么是FastDFS

　　FastDFS是用C语言编写的一款开源的分布式文件系统。FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。主要功能包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。做分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好可以解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

　　FastDFS有两个角色：跟踪服务(tracker)和存储服务(storage)，跟踪服务控制，调度文件以负载均衡的方式访问；存储服务包括：文件存储，文件同步，提供文件访问接口，同时以key value的方式管理文件的元数据。

　　跟踪和存储服务可以由1台或者多台服务器组成，同时可以动态的添加，删除跟踪和存储服务而不会对在线的服务产生影响，在集群中，tracker服务是对等的。

　　存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

2.FastDFS系统架构　　　

3.文件上传流程　

4.文件下载流程　　

5.上传文件的文件名

　　客户端上传文件后存储服务器将文件ID返回给客户端，此文件ID用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。　　

　　1). 组名：文件上传后所在的storage组名称，在文件上传成功后有storage服务器返回，需要客户端自行保存。

　　2). 虚拟磁盘路径：storage配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0则是M00，如果配置了store_path1则是M01，以此类推。

　　3). 数据两级目录：storage服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据文件。

　　文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

二、搭建步骤

　　为了直观立体，我们选择使用一台虚拟机来模拟，只配置一个Tracker、一个Storage服务，配置nginx来访问上传的文件。

第一步.安装fastDFS依赖的libevent工具包

　　yum -y install libevent

第二步.下载FastDFS以及相关源码包

　　1.下载libfastcommon
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.35.tar.gz -O libfastcommon-1.0.35.tar.gz
　　2.下载fastdfs源码包

　　　wget https://github.com/happyfish100/fastdfs/archive/V5.10.tar.gz -O fastdfs-5.10.tar.gz

　　3.下载fastdfs-nginx-module源码包　 wget https://sourceforge.net/projects/fastdfs/files/FastDFS%20Nginx%20Module%20Source%20Code/fastdfs-nginx-module_v1.16.tar.gz/download -O fastdfs-nginx-module_v1.16.tar.gz

　　4.下载nginx源码包

　　　　wget http://nginx.org/download/nginx-1.12.0.tar.gz

第三步.安装libfastcommon

　　1.解压缩libfastcommon并进入解压后的目录

　　　　tar -zxvf libfastcommon-1.0.35.tar.gz && cd libfastcommon-1.0.35

　　2.进行make和make install

　　　　./make.sh && ./make.sh install

　　3.设置软链接或者拷贝usr/lib64/libfastcommon.so文件到/usr/lib/下(64位系统跳过该步骤)

　　 ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
　　 ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
　　 ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
　　 ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

第四步.安装Tracker服务

　　1.解压缩fastdfs-5.10.tar.gz并进入解压后的目录

　　　　tar -zxvf fastdfs-5.10.tar.gz && cd fastdfs-5.10.tar.gz

　　2.进行make和make install

　　　　./make.sh && ./make.sh install

　　　注：上面命令运行成功以后，会在/usr/bin目录下生成以fdfs开头的文件

　　3.拷贝源码解压包目录下conf目录下的所有文件到/etc/fdfs下

　　　　cp ~/fastdfs/fastdfs-5.10.tar.gz/conf/* /etc/fdfs/

　　4.修改/etc/fdfs/tracker.conf文件对tracker进行配置　　　

　　5.启动tracker服务

　　　　/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

　　　　重启命令：/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

第五步.安装Storage服务

　　1.如果是在不同的服务器安装该服务，第四步的1~3需要重新执行.

　　2.修改/etc/fdfs/storage.conf文件对storage进行配置　　　　　　　　　　



　　3.启动storage服务

　　　　/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

　　　　重启：/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

第六步.测试服务

　　1.修改配置文件/etc/fdfs/client.conf配置客户端　　　　


　　2.测试

　　　　/usr/bin/fdfs_test /etc/fdfs/client.conf upload anti-steal.jpg

成功会出现以下文字　

先记下此处上传成功文件的url是：http://192.168.85.131/group1/M00/00/00/wKhVg1kl_NGAd61UAABdrZgsqUU293_big.jpg

第七步：搭建Nginx提供Http服务

　1.安装教程：Centos7安装Nginx实战

　　注意：配置的参数要发生如下变化：添加最后一行

　2.安装完成以后，需要/root/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf文件复制到/etc/fdfs目录下

　　　cp /root/fastdfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs

　3.对copy后的文件进行编辑　　 　



4.对nginx进行配置

　 在nginx配置文件中增加一个server:

5.将libfdfsclient.so拷贝至/usr/lib下(64位机器跳过此步骤)

　cp /usr/lib64/libfdfsclient.so /usr/lib/

6.启动nginx

　　cd /usr/local/nginx/sbin && ./nginx

第八步.对之前测试上传的文件进行访问，浏览器输入：http://192.168.85.131/group1/M00/00/00/wKhVg1kl_NGAd61UAABdrZgsqUU293_big.jpg

出现此图片说明fastdfs图片服务器以及nginx插件搭建成功！