电商分布式文件存储FastDFS
Posted 邱秋Elena
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了电商分布式文件存储FastDFS相关的知识，希望对你有一定的参考价值。
文章目录
目标
- 理解FastDFS工作流程
分布式文件管理系统
文件上传
文件下载
文件删除
文件缓存控制
- 搭建文件上传微服务
- 相册管理
- 规格参数管理
- 商品分类管理
一、FastDFS简介
1 FastDFS体系结构
FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。
FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文件上传、下载，通过Tracker server 调度最终由 Storage server 完成文件上传和下载。
Tracker server 作用是负载均衡和调度，通过 Tracker server 在文件上传时可以根据一些策略找到Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。Storage server 作用是文件存储，客户端上传的文件最终存储在 Storage 服务器上，Storageserver 没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。
2 上传流程
客户端上传文件后存储服务器将文件 ID 返回给客户端，此文件 ID 用于以后访问该文件的索引信息。文件索引信息包括：组名，虚拟磁盘路径，数据两级目录，文件名。
组名：文件上传后所在的 storage 组名称，在文件上传成功后有storage 服务器返回，需要客户端自行保存。
虚拟磁盘路径：storage 配置的虚拟路径，与磁盘选项store_path*对应。如果配置了store_path0 则是 M00，如果配置了 store_path1 则是 M01，以此类推。
数据两级目录：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据
文件。
文件名：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含：源存储
服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
二、 FastDFS搭建
1 安装FastDFS镜像
我们使用Docker搭建FastDFS的开发环境,虚拟机中已经下载了fastdfs的镜像，可以通过docker images查看。
- 拉取镜像
docker pull morunchang/fastdfs
- 运行tracker
docker run -d --name tracker --net=host morunchang/fastdfs sh tracker.sh
- 运行storage
docker run -d --name storage --net=host -e TRACKER_IP=192.168.211.132:22122 -e GROUP_NAME=group1 morunchang/fastdfs sh storage.sh
使用的网络模式是–net=host, 192.168.211.132是宿主机的IP
group1是组名，即storage的组
如果想要增加新的storage服务器，再次运行该命令，注意更换 新组名
2、配置nginx
Nginx在这里主要提供对FastDFS图片访问的支持，Docker容器中已经集成了Nginx，我们需要修改nginx的配置,进入storage的容器内部，修改nginx.conf
docker exec -it storage /bin/bash
进入后
vi /etc/nginx/conf/nginx.conf
添加以下内容
location ~ /M00
root /data/fast_data/data;
ngx_fastdfs_module;
禁止缓存：
add_header Cache-Control no-store;
退出容器
exit
重启storage容器
docker restart storage
查看启动容器docker ps
```bash
9f2391f73d97 morunchang/fastdfs "sh storage.sh" 12 minutes ago Up 12 seconds storage
e22a3c7f95ea morunchang/fastdfs "sh tracker.sh" 13 minutes ago Up 13 minutes tracker
开启启动设置
docker update --restart=always tracker
docker update --restart=always storage
三、文件存储微服务
创建文件管理微服务shop-service-file，该工程主要用于实现文件上传以及文件删除等功能。
1 pom.xml依赖
修改pom.xml，引入依赖
<!--依赖包-->
<dependencies>
<dependency>
<groupId>net.oschina.zcx7878</groupId>
<artifactId>fastdfs-client-java</artifactId>
<version>1.27.0.0</version>
</dependency>
<dependency>
<groupId>com.changgou</groupId>
<artifactId>changgou-common</artifactId>
<version>1.0-SNAPSHOT</version>
</dependency>
</dependencies>
2、FastDFS配置
在resources文件夹下创建fasfDFS的配置文件fdfs_client.conf
connect_timeout=60
network_timeout=60
charset=UTF-8
http.tracker_http_port=8080
tracker_server=192.168.211.132:22122
connect_timeout：连接超时时间，单位为秒。
network_timeout：通信超时时间，单位为秒。发送或接收数据时。假设在超时时间后还不能发送或接收数据，则本次网络通信失败
charset： 字符集
http.tracker_http_port ：.tracker的http端口
tracker_server： tracker服务器IP和端口设置
3 application.yml配置
在resources文件夹下创建application.yml
spring:
servlet:
multipart:
max-file-size: 10MB
max-request-size: 10MB
application:
name: file
server:
port: 18082
eureka:
client:
service-url:
defaultZone: http://127.0.0.1:7001/eureka
instance:
prefer-ip-address: true
feign:
hystrix:
enabled: true
max-file-size是单个文件大小，max-request-size是设置总上传的数据大小
4 启动类
创建com.changgou包，创建启动类FileApplication
@SpringBootApplication(exclude=DataSourceAutoConfiguration.class)
@EnableEurekaClient
public class FileApplication
public static void main(String[] args)
SpringApplication.run(FileApplication.class);
这里禁止了DataSource的加载创建。
5、文件上传
5.1、文件信息封装
文件上传一般都有文件的名字、文件的内容、文件的扩展名、文件的md5值、文件的作者等相关属性，我们可以创建一个对象封装这些属性，代码如下：
创建com.buba.file.FastDFSFile代码如下：
public class FastDFSFile implements Serializable
//文件名字
private String name;
//文件内容
private byte[] content;
//文件扩展名
private String ext;
//文件MD5摘要值
private String md5;
//文件创建作者
private String author;
public FastDFSFile(String name, byte[] content, String ext, String md5, String author)
this.name = name;
this.content = content;
this.ext = ext;
this.md5 = md5;
this.author = author;
public FastDFSFile(String name, byte[] content, String ext)
this.name = name;
this.content = content;
this.ext = ext;
public FastDFSFile()
(可选)测试文件相关操作:
package com.changgou.file.test;
import org.csource.fastdfs.*;
import org.junit.Test;
import java.io.*;
import java.net.InetSocketAddress;
/**
* 描述
*
* @author 三国的包子
* @version 1.0
* @package PACKAGE_NAME *
* @since 1.0
*/
public class FastdfsClientTest
/**
* 文件上传
*
* @throws Exception
*/
@Test
public void upload() throws Exception
//加载全局的配置文件
ClientGlobal.init("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\beike\\\\changgou\\\\changgou-service\\\\changgou-service-file\\\\src\\\\main\\\\resources\\\\fdfs_client.conf");
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
//获取StorageClient对象
StorageClient storageClient = new StorageClient(trackerServer, null);
//执行文件上传
String[] jpgs = storageClient.upload_file("C:\\\\Users\\\\Administrator\\\\Pictures\\\\5b13cd6cN8e12d4aa.jpg", "jpg", null);
for (String jpg : jpgs)
System.out.println(jpg);
@Test
public void delete() throws Exception
//加载全局的配置文件
ClientGlobal.init("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\beike\\\\changgou\\\\changgou-service\\\\changgou-service-file\\\\src\\\\main\\\\resources\\\\fdfs_client.conf");
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
//获取StorageClient对象
StorageClient storageClient = new StorageClient(trackerServer, null);
//执行文件上传
int group1 = storageClient.delete_file("group1", "M00/00/00/wKjThF1VEiyAJ0xzAANdC6JX9KA522.jpg");
System.out.println(group1);
@Test
public void download() throws Exception
//加载全局的配置文件
ClientGlobal.init("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\beike\\\\changgou\\\\changgou-service\\\\changgou-service-file\\\\src\\\\main\\\\resources\\\\fdfs_client.conf");
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
//获取StorageClient对象
StorageClient storageClient = new StorageClient(trackerServer, null);
//执行文件上传
byte[] bytes = storageClient.download_file("group1", "M00/00/00/wKjThF1VFfKAJRJDAANdC6JX9KA980.jpg");
File file = new File("D:\\\\ceshi\\\\1234.jpg");
FileOutputStream fileOutputStream = new FileOutputStream(file);
BufferedOutputStream bufferedOutputStream = new BufferedOutputStream(fileOutputStream);
bufferedOutputStream.write(bytes);
bufferedOutputStream.close();
fileOutputStream.close();
//获取文件的信息数据
@Test
public void getFileInfo() throws Exception
//加载全局的配置文件
ClientGlobal.init("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\beike\\\\changgou\\\\changgou-service\\\\changgou-service-file\\\\src\\\\main\\\\resources\\\\fdfs_client.conf");
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
//获取StorageClient对象
StorageClient storageClient = new StorageClient(trackerServer, null);
//执行文件上传
FileInfo group1 = storageClient.get_file_info("group1", "M00/00/00/wKjThF1VFfKAJRJDAANdC6JX9KA980.jpg");
System.out.println(group1);
//获取组相关的信息
@Test
public void getGroupInfo() throws Exception
//加载全局的配置文件
ClientGlobal.init("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\beike\\\\changgou\\\\changgou-service\\\\changgou-service-file\\\\src\\\\main\\\\resources\\\\fdfs_client.conf");
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
StorageServer group1 = trackerClient.getStoreStorage(trackerServer, "group1");
System.out.println(group1.getStorePathIndex());
//组对应的服务器的地址 因为有可能有多个服务器.
ServerInfo[] group1s = trackerClient.getFetchStorages(trackerServer, "group1", "M00/00/00/wKjThF1VFfKAJRJDAANdC6JX9KA980.jpg");
for (ServerInfo serverInfo : group1s)
System.out.println(serverInfo.getIpAddr());
System.out.println(serverInfo.getPort());
@Test
public void getTrackerInfo() throws Exception
//加载全局的配置文件
ClientGlobal.init("C:\\\\Users\\\\Administrator\\\\IdeaProjects\\\\beike\\\\changgou\\\\changgou-service\\\\changgou-service-file\\\\src\\\\main\\\\resources\\\\fdfs_client.conf");
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
InetSocketAddress inetSocketAddress = trackerServer.getInetSocketAddress();
System.out.println(inetSocketAddress);
5.2、文件操作
创建com.buba.util.FastDFSClient类,在该类中实现FastDFS信息获取以及文件的相关操作，代码如下：
(1)初始化Tracker信息
在com.buba.util.FastDFSClient类中初始化Tracker信息,在类中添加如下静态块：
/***
* 初始化tracker信息
*/
static
try
//获取tracker的配置文件fdfs_client.conf的位置
String filePath = new ClassPathResource("fdfs_client.conf").getPath();
//加载tracker配置信息
ClientGlobal.init(filePath);
catch (Exception e)
e.printStackTrace();
(2)文件上传
在类中添加如下方法实现文件上传：
/****
* 文件上传
* @param file : 要上传的文件信息封装->FastDFSFile
* @return String[]
* 1:文件上传所存储的组名
* 2:文件存储路径
*/
public static String[] upload(FastDFSFile file)
//获取文件作者
NameValuePair[] meta_list = new NameValuePair[1];
meta_list[0] =new NameValuePair(file.getAuthor());
/***
* 文件上传后的返回值
* uploadResults[0]:文件上传所存储的组名，例如:group1
* uploadResults[1]:文件存储路径,例如：M00/00/00/wKjThF0DBzaAP23MAAXz2mMp9oM26.jpeg
*/
String[] uploadResults = null;
try
//创建TrackerClient客户端对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象获取TrackerServer信息
TrackerServer trackerServer = trackerClient.getConnection();
//获取StorageClient对象
StorageClient storageClient = new StorageClient(trackerServer, null);
//执行文件上传
uploadResults = storageClient.upload_file(file.getContent(), file.getExt(), meta_list);
catch (Exception e)
e.printStackTrace();
return uploadResults;
(3)获取文件信息
在类中添加如下方法实现获取文件信息：
/***
* 获取文件信息
* @param groupName:组名
* @param remoteFileName：文件存储完整名
*/
public static FileInfo getFile(String groupName,String remoteFileName)
try
//创建TrackerClient对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient获得TrackerServer信息
TrackerServer trackerServer =trackerClient.getConnection();
//通过TrackerServer获取StorageClient对象
StorageClient storageClient = new StorageClient(trackerServer,null);
//获取文件信息
return storageClient.get_file_info(groupName,remoteFileName);
catch (Exception e)
e.printStackTrace();
return null;
(4)文件下载
在类中添加如下方法实现文件下载：
/***
* 文件下载
* @param groupName:组名
* @param remoteFileName：文件存储完整名
* @return
*/
public static InputStream downFile(String groupName,String remoteFileName)
try
//创建TrackerClient对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient对象创建TrackerServer
TrackerServer trackerServer = trackerClient.getConnection();
//通过TrackerServer创建StorageClient
StorageClient storageClient = new StorageClient(trackerServer,null);
//通过StorageClient下载文件
byte[] fileByte = storageClient.download_file(groupName, remoteFileName);
//将字节数组转换成字节输入流
return new ByteArrayInputStream(fileByte);
catch (Exception e)
e.printStackTrace();
return null;
(5)文件删除实现
/***
* 文件删除实现
* @param groupName:组名
* @param remoteFileName：文件存储完整名
*/
public static void deleteFile(String groupName,String remoteFileName)
try
//创建TrackerClient对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient获取TrackerServer对象
TrackerServer trackerServer = trackerClient.getConnection();
//通过TrackerServer创建StorageClient
StorageClient storageClient = new StorageClient(trackerServer,null);
//通过StorageClient删除文件
storageClient.delete_file(groupName,remoteFileName);
catch (Exception e)
e.printStackTrace();
(6)获取组信息
/***
* 获取组信息
* @param groupName :组名
*/
public static StorageServer getStorages(String groupName)
try
//创建TrackerClient对象
TrackerClient trackerClient = new TrackerClient();
//通过TrackerClient获取TrackerServer对象
TrackerServer trackerServer = trackerClient.getConnection();
//通过trackerClient获取Storage组信息
return trackerClient.getStoreStorage(trackerServer,groupName);
catch (Exception e)
e.printStackTrace();
return null;
(7)根据文件组名和文件存储路径获取Storage服务的IP、端口信息
/***
* 根据文件组名和文件存储路径获取Storage服务的IP、端口信息
* @param groupName :组名
* @param remoteFileName ：文件存储完整名
*/
public static ServerInfo[] getServerInfo(String groupName, （转） 分布式文件存储FastDFS初识FastDFS
http://blog.csdn.net/xingjiarong/article/details/50559849
一、FastDFS简介
FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。作为一个分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题，特别适合中小文件（建议范围：4KB < file_size <500MB），对以文件为载体的在线服务，如相册网站、视频网站等等具有显著的效果。
二、FastDFS架构
FastDFS由客户端，跟踪服务器和存储服务器构成，基本架构如下图所示。
Storage Server
Storage server（后简称storage）以组（卷，group或volume）为单位组织，一个group内包含多台storage机器，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。
以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。
group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。
storage接受到写文件请求时，会根据配置好的规则（后面会介绍），选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。
Tracker Server
Tracker是FastDFS的协调者，负责管理所有的storage server和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage serverlist]的映射表。
Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。
Client
客户端，作为业务请求的发起方，通过专有接口，使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
三、FastDFS的存储策略
为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。
在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。
当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。
四、FastDFS的上传过程
FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。
根据前边的讲解，我们知道Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。
当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。文件名的格式如下：
五、FastDFS的文件同步
写文件时，客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。
每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。
storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。
比如一个group内有A、B、C三个storage server，A向C同步到进度为T1 (T1以前写的文件都已经同步到B上了），B向C同步到时间戳为T2（T2 > T1)，tracker接收到这些同步进度信息时，就会进行整理，将最小的那个做为C的同步时间戳，本例中T1即为C的同步时间戳为T1（即所有T1以前写的数据都已经同步到C上了）；同理，根据上述规则，tracker会为A、B生成一个同步时间戳。
六、FastDFS的文件下载
客户端uploadfile成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。
跟upload file一样，在downloadfile时客户端可以选择任意tracker server。tracker发送download请求给某个tracker，必须带上文件名信息，tracke从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。
本文是在阅读某大神的文章时进行的整理和摘录，同时加入了自己的一些思考，下面附上大神的链接：http://blog.yunnotes.net/index.php/fastdfs_design/
以上是关于电商分布式文件存储FastDFS的主要内容，如果未能解决你的问题，请参考以下文章