FastDFS + Nginx实现基于CentOS7平台的分布式文件存储与访问

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了FastDFS + Nginx实现基于CentOS7平台的分布式文件存储与访问相关的知识，希望对你有一定的参考价值。


相比较于MogileFS，FastDFS同样有tracker和storage这样的功能分类。但是FastDFS的tracker节点的元数据信息是由各个storage节点通过tcp协议上报得到的，因此在一定程度上减轻了tracker的负载压力。storage节点以group为单位进行组织。任何一个storage server都应该属于某个group，一个group应该包含多个storage server；在同一个group内部，各storage server的数据互相冗余。 
本文通过构建FastDFS集群，结合安装了fastdfs插件的Nginx，实现图片文件的上传和访问功能

关于FastDFS

  • 体系结构图 
    由下图可以看出，Tracker群中，各个tracker server相互独立，不进行相互的通信。Storage群中各个group组相互独立，不进行相互通信。也就是说，各个组之间保存的数据是不相同的。针对于每一个group组，其中的节点是属于相互备份的关系。图中的每一个Storage server会启动一个单独的线程主动向Tracker中的每一个tracker server报告其状态信息，包括磁盘使用情况，文件同步情况以及上传下载的次数统计等信息。

技术分享

  • 文件上传流程图 
    由下图可以看到，文件上传的流程可以分为4个步骤： 

  1. 客户端通过API接口，与Tracker发生通信

  2. Tracker返回给客户端一台可用的Storage server和端口号

  3. 客户端依据返回值，自动向对应的Storage server发送请求，并开始上传

  4. 上传完毕之后，Storage server返回给客户端所上传的文件的ID，并结束。

技术分享

  • 文件下载流程图 
    文件下载的流程可以分为3个步骤： 

  1. 客户端通过Tracker server下载指定Storage组中的某个文件

  2. Tracker server向客户端返回一个可用的Storage server的IP地址和端口号

  3. Client直接通过Tracker server返回的IP地址和端口与其中一台Storage server建立连接并进行文件下载

技术分享

  • FastDFS拓扑设计 
    设计结构和IP规划如下所示。这里采用一个客户端，两个tracker，4个storage，2个storage组的结构。

节点IP节点功能
192.7.20.121FastDFS客户端，ansible主控端
192.7.20.60FastDFS tracker 节点1， FastDFS storage 节点1
192.7.20.61FastDFS tracker 节点2，FastDFS storage 节点2
192.7.20.62FastDFS storage 节点3
192.7.20.63FastDFS storage 节点4

技术分享

ansible初始配置

为了方便安装配置，这里采用自动化运维工具ansible用来提高效率。首先在客户端上面配置3个host组，附加到/etc/ansible/hosts文件后面，分别命名为slave, ftracker, fstorage，内容如下所示。其中slave组和fstorage组的节点相同，只是出于配置的内容而分成了这两组：

[slave]
192.7.20.60
192.7.20.61
192.7.20.62
192.7.20.63

[ftracker]
192.7.20.60
192.7.20.61

[fstorage]
192.7.20.60
192.7.20.61
192.7.20.62
192.7.20.63

之后需要建立ssh免密码登录，在客户端主机上面使用ssh-copy-id命令将客户端公钥导入到4台slave节点上面。

ssh-copy-id ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id ~/.ssh/id_rsa.pub [email protected]
ssh-copy-id ~/.ssh/id_rsa.pub [email protected]

之后，通过ping模块测试一下4台slave节点的连通状态，正常情况下，4台slave可通：

$ ansible slave -m ping
192.7.20.60 | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}
192.7.20.62 | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}
192.7.20.61 | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}
192.7.20.63 | SUCCESS => {
    "changed": false, 
    "ping": "pong"
}

编译FastDFS源码，并进行部署

从GitHub面可以下载到最新版本的fastdfs源码文件，以及fastdfs依赖库源码文件。将二者都下载到客户端主机，并用unzip命令解压，其目录中的内容如下所示：

fastdfs源码目录：
client  common  conf  COPYING-3_0.txt  fastdfs.spec  HISTORY  init.d  INSTALL  make.sh  php_client  README.md  restart.sh  stop.sh  storage  test  tracker

libfastcommon源码目录：
doc  HISTORY  INSTALL  libfastcommon.spec  make.sh  php-fastcommon  README  src

分别查看fastdfs.spec文件以及libfastcommon.spec文件，可以发现，spec文件中所要求的Source的格式为%{name}-%{version}.tar.gz的形式，因此，我们需要将fastdfs和libfastcommon的源码重新打包为带有version格式的tar.gz的压缩包。而版本号可以从spec文件的开头部分找到：

$ tar -zcvf libfastcommon-1.0.36.tar.gz libfastcommon-master/*
$ tar -zcvf fastdfs-5.0.11.tar.gz fastdfs-master/*

在root家目录下面创建rpmbuild文件夹，并在该文件夹里面再创建SOURCES和SPECS两个文件夹，将fastdfs.spec和libfastcommon.spec文件复制到/root/rpmbuild/SPECS目录下面，将libfastcommon-1.0.36.tar.gz和fastdfs-5.0.11.tar.gz复制到/root/rpmbuild/SOURCES目录下面：

$ mkdir -pv /root/rpmbuild/{SOURCES,SPECS}
$ cp fastdfs-master/fastdfs.spec /root/rpmbuild/SPECS
$ cp libfastcommon-master/libfastcommon.spec /root/rpmbuild/SPECS
$ cp fastdfs-5.0.11.tar.gz /root/rpmbuild/SOURCES
$ cp libfastcommon-1.0.36.tar.gz /root/rpmbuild/SOURCES

进入SPECS目录，运行rpmbuild命令，分别将fastdfs和libfastcommon编译为rpm包。正常情况下，所编译完成的rpm包会在/root/rpmbuild/RPMS/i386或者/root/rpmbuild/RPMS/x86_64目录下面：

$ cd /root/rpmbuild/SPECS
$ rpmbuild -bb libfastcommon.spec
$ rpmbuild -bb fastdfs.spec

$ ls /root/rpmbuild/RPMS/x86_64 | grep -iE ‘fast*|lib*‘
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-debuginfo-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm

下面就用上述生成的rpm包进行安装。首先需要在客户端上面进行安装。因为客户端也需要用fastdfs的命令进行文件的上传，查看，修改，删除……

yum localinstall /root/rpmbuild/RPMS/x86_64/*.rpm

之后将上述的rpm包放到一个名字为fastdfs_rpm的文件夹里面，并将该文件夹打包为tar.gz格式的压缩包，然后将其分发到4台slave上面，并解压。

$ cd
$ mkdir fastdfs_rpm
$ cp /root/rpmbuild/RPMS/x86_64/*.rpm fastdfs_rpm/
$ tar zcvf fastdfs_rpm.tar.gz fastdfs_rpm/
$ ansible slave -m copy -a ‘src=/root/fastdfs_rpm.tar.gz dest=/root/‘
$ ansible slave -m shell -a ‘chdir=/root tar -zxvf fastdfs_rpm.tar.gz‘


$ ansible slave -m shell -a ‘ls /root/fastdfs_rpm/‘
192.7.20.61 | SUCCESS | rc=0 >>
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-debuginfo-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm

192.7.20.60 | SUCCESS | rc=0 >>
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-debuginfo-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm

192.7.20.63 | SUCCESS | rc=0 >>
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-debuginfo-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm

192.7.20.62 | SUCCESS | rc=0 >>
fastdfs-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-debuginfo-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-server-5.0.11-1.el7.centos.x86_64.rpm
fastdfs-tool-5.0.11-1.el7.centos.x86_64.rpm
libfastcommon-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-debuginfo-1.0.36-1.el7.centos.x86_64.rpm
libfastcommon-devel-1.0.36-1.el7.centos.x86_64.rpm
libfdfsclient-5.0.11-1.el7.centos.x86_64.rpm
libfdfsclient-devel-5.0.11-1.el7.centos.x86_64.rpm

在4台节点上面安装上述rpm文件，至此，完成fastdfs在4台slave上面的部署工作。

$ ansible slave -m shell -a ‘yum localinstall /root/fastdfs_rpm/*.rpm -y‘

Tracker节点的配置

下一步我们需要配置两台Tracker节点。首先需要准备tracker进程的目录。其次，需要准备tracker.conf,http.conf,mime.types这三个文件，之后便是修改配置文件并启动tracker进程。

创建目录：
$ ansible ftracker -m shell -a ‘mkdir -p /data/fastdfs‘

准备tracker配置文件：
$ ansible ftracker -m shell -a ‘chdir=/etc/fdfs cp tracker.conf.sample tracker.conf‘

将客户端机器的源码目录中的http.conf和mime.types拷贝到tracker的/etc/fdfs目录下面：
$ ansible ftracker -m copy -a ‘src=/root/fastdfs-master/conf/{http.conf,mime.types} dest=/etc/fdfs‘

修改base_path选项为/data/fastdfs目录
$ ansible ftracker -m shell -a ‘chdir=/etc/fdfs/ sed -i ‘s:base_path=.*:base_path=/data/fastdfs:g‘ tracker.conf‘

修改http.server_port为80端口
$ ansible ftracker -m shell -a ‘chdir=/etc/fdfs/ sed -i ‘s:http.server_port=.*:http.server_port=80:g‘ tracker.conf‘

修改store_lookup的值为0，即对于不同的group使用round-robin方式：
$ ansible ftracker -m shell -a ‘chdir=/etc/fdfs sed -i ‘s:store_lookup=.*:store_lookup=0:g‘ tracker.conf‘

启动tracker进程
$ ansible ftracker -m shell -a ‘service fdfs_trackerd start‘

查看tracker进程监听端口
$ ansible ftracker -m shell -a ‘ss -tnlp | grep -i trackerd‘
192.7.20.61 | SUCCESS | rc=0 >>
LISTEN     0      128          *:22122                    *:*                   users:(("fdfs_trackerd",pid=2629,fd=5))

192.7.20.60 | SUCCESS | rc=0 >>
LISTEN     0      128          *:22122                    *:*                   users:(("fdfs_trackerd",pid=2828,fd=5))

Storage节点的配置

配置storage节点，规划如下：192.7.20.60和192.7.20.62这两台机器作为group1，192.7.20.61和192.7.20.63这两台节点作为group2。创建/data/fastdfs目录(虽然是storage节点，但是仍然需要这么一个目录)，创建/data/storage目录作为存储节点的目录。准备storage.conf，http.conf，mime.types这三个文件。并对storage的配置文件进行修改，之后启动服务。

创建/data/fastdfs目录：
$ansible fstorage -m shell -a ‘mkdir -p /data/fastdfs‘

创建/data/storage目录：
$ ansible fstorage -m shell -a ‘mkdir -p /data/storage‘

准备storage.conf文件：
$ ansible fstorage -m shell -a ‘chdir=/etc/fdfs cp storage.conf.sample storage.conf‘

准备http.conf文件和mime.types文件：
$ ansible fstorage -m copy -a ‘src=/root/fastdfs-master/conf/{http.conf,mime.types} dest=/etc/fdfs‘

设定base_path为/data/fastdfs：
$ ansible fstorage -m shell -a ‘sed -i ‘s:base_path=.*:base_path=/data/fastdfs:g‘ /etc/fdfs/storage.conf‘

设定存储目录路径为/data/storage:
$ansible fstorage -m shell -a ‘sed -i ‘s:store_path0=.*:store_path0=/data/storage:g‘ /etc/fdfs/storage.conf‘

设定两台tracker_server，分别为192.7.20.60:22122和192.7.20.61:22122
ansible fstorage -m shell -a ‘sed -i ‘/tracker_server=.*/a\tracker_server==/‘ /etc/fdfs/storage.conf‘

ansible fstorage -m shell -a ‘sed -i ‘/tracker_server=$/tracker_server=192.7.20.60:22122‘ /etc/fdfs/storage.conf‘

ansible fstorage -m shell -a ‘sed -i ‘/tracker_server==$/tracker_server=192.7.20.61:22122‘ /etc/fdfs/storage.conf‘



定义192.7.20.61和192.7.20.63为group2组：
ansible 192.7.20.61 -m shell -a ‘sed -i s/group_name=group1/group_name=group2/g /etc/fdfs/storage.conf‘

ansible 192.7.20.63 -m shell -a ‘sed -i s/group_name=group1/group_name=group2/g /etc/fdfs/storage.conf‘



启动storaged进程：
$ ansible fstorage -m shell -a ‘service fdfs_storaged start‘

查看storaged进程监听端口：
ansible fstorage -m shell -a ‘ss -tnlp | grep storaged‘       
192.7.20.60 | SUCCESS | rc=0 >>
LISTEN     0      128          *:23000                    *:*                   users:(("fdfs_storaged",pid=1009,fd=5))

192.7.20.61 | SUCCESS | rc=0 >>
LISTEN     0      128          *:23000                    *:*                   users:(("fdfs_storaged",pid=834,fd=5))

192.7.20.62 | SUCCESS | rc=0 >>
LISTEN     0      128          *:23000                    *:*                   users:(("fdfs_storaged",pid=975,fd=5))

192.7.20.63 | SUCCESS | rc=0 >>
LISTEN     0      128          *:23000                    *:*                   users:(("fdfs_storaged",pid=922,fd=5))

Client的配置以及测试

使用192.7.20.121作为FastDFS的客户端。需要在客户端也建立/data/fastdfs目录，复制client.conf.sample文件为client.conf，并使用client.conf作为配置文件。在该配置文件里面，设定base_path的路径为/data/fastdfs，以及两台tracker_server的地址和端口。配置完毕之后如下所示：

$ grep base_path /etc/fdfs/client.conf
base_path=/data/fastdfs

$ grep tracker_server /etc/fdfs/client.conf | grep -vE "^#|^[^t]"
tracker_server=192.7.20.60:22122
tracker_server=192.7.20.61:22122

将client配置完毕之后，便可以进行测试。在测试之前，先列出fastdfs的工具程序。如下所示。其中fdfs_upload_file用于上传文件，fdfs_delete_file用于删除文件，fdfs_trackerd用于远程启动trackerd进程，fdfs_storaged用于远程启动storaged进程，fdfs_monitor用于查询storage节点的group信息。其余的选项，通过命令行帮助即可得到使用方式，在这里不一一赘述。

fdfs_appender_test    fdfs_append_file      fdfs_delete_file      fdfs_file_info        fdfs_storaged         fdfs_test1            fdfs_upload_appender
fdfs_appender_test1   fdfs_crc32            fdfs_download_file    fdfs_monitor          fdfs_test             fdfs_trackerd         fdfs_upload_file

进行文件的上传，由于使用了轮询storage的配置，因此在前后两次上传之后分别传送到了不同group组。通过fdfs_delete_file命令将其删除：

上传
$ fdfs_upload_file /etc/fdfs/client.conf kde.jpg
group1/M00/00/00/wAcUPFl4fp6AGwNPAA6q2wjnW8s033.jpg

$ fdfs_upload_file /etc/fdfs/client.conf resplendentSunset.jpg 
group2/M00/00/00/wAcUPVl4fsSAVEclAAUpOv3StqA293.jpg

查看各个storage节点上面的文件：
ansible fstorage -m shell -a ‘ls /data/storage/data/00/00‘                        
192.7.20.60 | SUCCESS | rc=0 >>
wAcUPFl4fp6AGwNPAA6q2wjnW8s033.jpg

192.7.20.62 | SUCCESS | rc=0 >>
wAcUPFl4fp6AGwNPAA6q2wjnW8s033.jpg

192.7.20.63 | SUCCESS | rc=0 >>
wAcUPVl4fsSAVEclAAUpOv3StqA293.jpg

192.7.20.61 | SUCCESS | rc=0 >>
wAcUPVl4fsSAVEclAAUpOv3StqA293.jpg


删除
$ fdfs_delete_file /etc/fdfs/client.conf group1/M00/00/00/wAcUPFl4fp6AGwNPAA6q2wjnW8s033.jpg

$ fdfs_delete_file /etc/fdfs/client.conf group2/M00/00/00/wAcUPVl4fsSAVEclAAUpOv3StqA293.jpg

查看各个storage节点上面的文件：
ansible fstorage -m shell -a ‘ls /data/storage/data/00/00‘                                
192.7.20.60 | SUCCESS | rc=0 >>


192.7.20.62 | SUCCESS | rc=0 >>


192.7.20.63 | SUCCESS | rc=0 >>


192.7.20.61 | SUCCESS | rc=0 >>

nginx + fastdfs模块配置

通过Nginx的第三方模块fastdfs-nginx-module，安装部署在storage节点上面，可以实现将FastDFS存储的文件通过http协议呈现给浏览器客户端。该模块主要解决同步延迟的问题。同组之间的服务器需要复制文件,有延迟的问题。假设Tracker服务器将文件上传到了192.168.1.80,文件ID已经返回客户端，这时,后台会将这个文件复制到192.168.1.30,如果复制没有完成,客户端就用这个ID在192.168.1.30取文件,肯定会出现错误。这个fastdfs-nginx-module可以重定向连接到源服务器取文件,避免客户端由于复制延迟的问题,出现错误。

使用--add-module选项将上述模块包含进去，并将nginx重新编译(这里略去编译过程)，并在配置文件中添加如下内容：

server {
        listen 8080;
        location /M00 {
                alias /data/storage/data;
                ngx_fastdfs_module;
        }
}

将编译好的nginx打包，利用ansible推送到所有storage上面去。

将FastDFS源码包中的mod_fastdfs.conf文件进行修改，如下所示，也将其推送到所有storage上面去，并解压缩。

base_path=/data/fastdfs
tracker_server=192.7.20.60:22122
tracker_server=192.7.20.60:22122
store_path0=/data/storage
log_filename=/data/fastdfs/logs/mod_fastdfs.log
$ ansible fstorage -m copy -a ‘src=/root/nginx-1.12.0 dest=/root/‘

创建nginx组和nginx用户，创建一个该nginx模块的log文件，用于记录log

$ ansible fstorage -m shell -a ‘groupadd -r nginx‘

$ ansible fstorage -m shell -a ‘useradd -r -g nginx -s /sbin/nologin -m nginx‘

$ ansible fstorage -m shell -a ‘touch /data/fastdfs/logs/mod_fastdfs.log‘

$ ansible fstorage -m shell -a ‘chown nginx.nginx /data/fastdfs/logs/mod_fastdfs.log‘

创建/opt/nginx目录，并将nginx包解压到该目录下面，并启动：

$ ansible fstorage -m shell -a ‘mkdir /opt/nginx‘
$ ansible fstorage -m shell -a ‘tar -zxf /root/nginx-1.12.0.tar.gz -C /opt/nginx‘
$ ansible fstorage -m shell -a ‘chown -R nginx.nginx /opt/nginx‘
$ ansible fstorage -m shell -a ‘/opt/nginx/sbin/nginx‘

启动完毕之后，正常情况下，便可以从任何storage节点上面，访问任意group的资源了，如下所示：

技术分享

技术分享

本文出自 “技术成就梦想” 博客，请务必保留此出处http://jiangche00.blog.51cto.com/4377920/1951540

以上是关于FastDFS + Nginx实现基于CentOS7平台的分布式文件存储与访问的主要内容，如果未能解决你的问题，请参考以下文章

CentOS7下搭建FastDFS+Nginx实现静态图片服务器

centos7配置fastdfs和nginx实现分布式文件存储系统

Centos7单台服务器搭建FastDFS+Nginx

CentOS单机安装FastDFS&整合Nginx

转载：分布式文件系统 - FastDFS 在 CentOS 下配置安装部署

FastDFS+nginx安装与配置