FASTDFS调研报告(V1.0)

Posted Accipiter

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FASTDFS调研报告(V1.0)相关的知识,希望对你有一定的参考价值。

之前的文章,现在放出来,以供参阅。

一、fastdfs简介

  • FastDFS是一个轻量级的开源分布式文件系统
  • FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡
  • FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储
  • 支持存储服务器在线扩容
  • 支持相同内容的文件只保存一份,节约磁盘空间
  • FastDFS只能通过Client API访问,不支持POSIX访问方式
  • FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)

使用场景:

特别适合以中小文件(建议范围: 4KB 到 500MB )为载体的在线服务,如相册网站、视频网站等等。

二、系统架构

FastDFS服务端有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)。

 

  • tracker server: 跟踪服务器,主要做调度工作,起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。
  • storage server: 存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。
  • client server: 客户端,作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
  •  group:组,也可称为卷。同组内服务器上的文件是完全相同的
  • 文件标识:包括两部分:组名和文件名(包含路径)
  • meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768 

文件上传机制

 

  •  client询问tracker上传到的storage,不需要附加参数;
  •  tracker返回一台可用的storage;
  •  client直接和storage通讯完成文件上传。

 

下载机制:

  •  client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
  •  tracker返回一台可用的storage;
  •  client直接和storage通讯完成文件下载。

同步机制:

  • 同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
  • 文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
  • 源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
  • 上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。

远行目录结构:

tracker server 结构:

  ${base_path}

        |__data

        |         |__storage_groups.dat:存储分组信息

        |         |__storage_servers.dat:存储服务器列表

        |__logs

              |__trackerd.log:tracker server日志文件 

storage server结构:

 ${base_path}

        |__data

        |         |__.data_init_flag:当前storage server初始化信息

        |         |__storage_stat.dat:当前storage server统计信息

        |         |__sync:存放数据同步相关文件

        |         |         |__binlog.index:当前的binlog文件索引号

        |         |         |__binlog.###:存放更新操作记录(日志)

        |         |         |__${ip_addr}_${port}.mark:存放同步的完成情况

        |         |

        |         |__一级目录:256个存放数据文件的目录,如:00, 1F

        |               |__二级目录:256个存放数据文件的目录

        |__logs

              |__storaged.log:storage server日志文件

 

文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。

其中:

  • 组名: 文件上传后所在的存储组名称,在文件上传成功后有存储服务器返回,需要客户端自行保存。
  • 虚拟磁盘路径: 存储服务器配置的虚拟路径,与磁盘选项store_path* 对应。
  • 数据两级目录: 存储服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
  • 文件名: 与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。

设计特点:

1、通过组名tracker能够很快的定位到客户端需要访问的存储服务器组,并将选择合适的存储服务器提供客户端访问;

2、存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录,并根据文件名找到客户端需要访问的文件。


三、安装与使用

    环境准备:

           1、Linux环境,使用centos环境.

           2、pdfs v5.+的版本不依赖于lib event, 需要安装libfastcommon.同时需要注意各个版本安装的时候匹配关系。不匹配的时候是有bug的。实例使用V5.08

  软件下载:

          1、代码仓库

          https://github.com/happyfish100/fastdfs.git

          https://github.com/happyfish100/libfastcommon.git

          https://github.com/happyfish100/fastdfs-nginx-module.git         

安装:

 新系统:

yum -y install wget vim git texinfo patch make cmake gcc gcc-c++ gcc-g77 flex bison file libtool libtool-libs autoconf kernel-devel libjpeg libjpeg-devel libpng libpng-devel libpng10 libpng10-devel gd gd-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glib2 glib2-devel bzip2 bzip2-devel libevent libevent-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel vim-minimal nano fonts-chinese gettext gettext-devel ncurses-devel gmp-devel pspell-devel unzip libcap diffutils pcre pcre-devel

 

安装libfastcommon

 git clone https://github.com/happyfish100/libfastcommon.git

 cd libfastcommon

sh make.sh && sh make.sh install

安装fastdfs

git clone https://github.com/happyfish100/fastdfs.git

cd fastdfs

sh make.sh && sh make.sh install

 

安装nginx已有可免安装

wget http://nginx.org/download/nginx-1.8.0.tar.gz

tar zxvf nginx-1.8.0.tar.gz

git clone https://github.com/happyfish100/fastdfs-nginx-module.git

cd nginx-1.8.0

./configure--prefix=/usr/local/nginx--add-module=/root/fastdfs-nginx-module/src

make&&make install

cd /usr/local/bin

ln-s/usr/local/nginx/sbin/nginx .

nginx-t

配置:

tracker.conf配置:

cd /etc/fdfs

cp tracker.conf.sample tracker.conf

#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/http.conf .

#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/mime.types .

sed -i \'s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/tracker:g\' tracker.conf

sed -i \'s:http.server_port=.*:http.server_port=80:g\' tracker.conf

 

storage.conf配置:

cd /etc/fdfs

cp storage.conf.sample storage.conf

#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/http.conf .

#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/mime.types .

sed -i \'s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/storage:g\' storage.conf

sed -i \'s:store_path0=.*:store_path0=/home/lijianli/fastdfs/masterdata/storage:g\' storage.conf

sed -i \'s/tracker_server=.*/tracker_server=10.60.81.188:22122/g\' storage.conf

sed -i \'s:http.server_port=.*:http.server_port=80:g\' storage.conf

 

client.conf配置:

cd /etc/fdfs

cp client.conf.sample client.conf

sed -i ’s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/client:g’ client.conf

sed -i ’s/tracker_server=.*/tarcker_server=10.60.81.188:22122/g’ client.conf

 

nginx配置

upstream fdfs_group1{

     server 10.60.81.188:80;

}

server{

     location group1/M00{

          proxy_pass http://fdfs_group1;

     }

}

 

常用命令:

fdfs_delete_file: 删除文件,/opt/apps/fdfs/bin/fdfs_delete_file <config_file> <file_id>

fdfs_download_file: 下载文件,/opt/apps/fdfs/bin/fdfs_download_file <config_file> <file_id> <local_filename>

fdfs_file_info: 获取某个文件信息,/opt/apps/fdfs/bin/fdfs_file_info <config_file> <file_id>

fdfs_monitor: 监控,查看storage server的状态/opt/apps/fdfs/bin/fdfs_monitor <config_file> 也可以用这个命令来摘除无效的storage节点,/opt/apps/fdfs/bin/fdfs_monitor <config_file> delete <group_name> <storage_ip> 注意:如果被删除的storage server的状态是ACTIVE,也就是该storage server还在线上服务的情况下,是无法删除掉的。

fdfs_storaged: 用来启动或是重启或是关闭server,/opt/apps/fdfs/bin/fdfs_storaged <config_file> [start | stop | restart]

fdfs_trackerd: 用来启动或是重启或是关闭server,/opt/apps/fdfs/bin/fdfs_trackerd <config_file> [start | stop | restart]

fdfs_upload_file: 上传文件,/opt/apps/fdfs/bin/fdfs_upload_file <config_file> <local_filename>

 

2、监控问题。

Java:

https://github.com/canmind/fastdfs-zyc/tree/master/fastdfs-zyc/main/webapp

3、开发集成问题。

四、社区&使用商

        阿里,UC网盘,优酷,搜狐等。

五、总结

  • FastDFS只有三个角色;且跟踪服务器和存储服务器均不存在单点。
  • 跟踪服务器被动的接收存储服务器汇报,对存储服务器进行分组管理;并为客户端选定适用的存储服务器。同一存储服务器可以同时向多台跟踪服务器汇报状态信息。
  • 存储服务器组内所有存储服务器是对等关系,存储的数据一一对应且相同;所有的存储服务器均是同时在线服务,极大的提高的服务器的使用率,分担了数据访问压力。

六、参考资料

  1、https://github.com/happyfish100/fastdfs 源码

  2、http://bbs.chinaunix.net/forum-240-1.html 作者维护的论坛

  3、http://tech.uc.cn/?p=221 UC团队使用维护文档

  4、https://code.google.com/archive/p/fastdfs/  作者维护的Google code上的项目。

 

 

 

以上是关于FASTDFS调研报告(V1.0)的主要内容,如果未能解决你的问题,请参考以下文章

性能测试报告模板 V1.0

性能测试报告模板 V1.0

非常新能源铝电池项目的产业化展开的分析报告v1.0

接口测试框架V1.0版

API接口——睡眠带开放能力

测试报告样式