fastDFS文件服务器迁移

Posted 無涯

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了fastDFS文件服务器迁移相关的知识,希望对你有一定的参考价值。

    在实际的项目应用中,由于服务器替换或项目变更难免会存在fastDFS文件服务器迁移的工作。本文重点介绍fastDFS文件系统在不同情况下的文件迁移处理方案。

1.迁移时IP地址不变

    通过文件服务器存储规则定义,发现当ip地址没有发生变化时,这种文件服务器迁移是最简单的,只需要在新的服务器上安装fastDFS,把原来服务器上的tracker和storage下面的所有目录文件拷贝到新服务器,把所有的配置文件拷贝到新服务器,启动tracker和storage服务即可。

2.迁移时IP地址变化采用自定义server ID模式安装

    在fastDFS文件服务器安装时,若前期考虑了文件迁移的需求采用了自定义server ID特性安装文件服务器(fastDFS安装请参考上一篇博客:FastDFS与Nginx的配置说明),在做新文件迁移时仅需如下操作(这种迁移测试很简单,变化ip时既可测试):

  • 安装新的fastDFS文件服务器;
  • 关闭tracker服务和storage服务;
  • 拷贝原有文件服务器tracker和storage下面的所有目录文件;
  • 拷贝原有文件服务器的配置文件,如图:
  • 编辑stroage_ids.conf文件,修改新的ip地址,如下图:
  • 修改client.conf,storage.conf,mod_fastdfs.conf(若配置了 Servier ID模式,可以不修改)文件中的ip地址为新的ip地址。
  • 启动tracker服务和storage服务;
  • 利用ngigx测试下载以前服务器中存成的文件,下载原文件成功表示迁移成功。

3.迁移时IP地址变化采用默认配置安装

     在这种模式下,文件迁移本质就是替换ip地址,找到文件服务器中配置文件与ip地址相关的文件替换后就可以了。但不建议采用这种模式安装,且一旦使用这样的模式安装后,需要切换为自定义 Server ID时,会报ip已经重复的异常,导致切换自定义安装失败(除非删除以前的存储文件)。为了迁移以前的文件数据,需进行如下操作:

  • 新服务器停止tracker和storage,分别将其数据文件目录用旧服务器的文件替换掉。
  • 删除新服务器data数据,使用旧服务器data替换
  •  修改tracker的data文件,主要是修改以下文件中的ip信息。
  1. data/storage_groups_new.dat
  2. data/storage_servers_new.dat
  3. data/storage_sync_timestamp.dat
  • 修改storage的data文件,主要是修改以下文件中的ip信息 。
  1. data/.data_init_flag
  2. data/sync/${ip_addr}_${port}.mark:此类文件,需要将文件名中的IP地址调整过来。若sync目录下面没有文件,可不修改。
  • 修改client.conf,storage.conf,mod_fastdfs.conf文件中的ip地址为新的ip地址。
  • 利用ngigx测试下载以前服务器中存成的文件,下载原文件成功表示迁移成功。

4.FastDFS服务器端运行时目录结构

  ${base_path}
    |__data:存放数据文件
    |__logs:存放日志文件
  其中,${base_path}由配置文件中的参数“base_path”设定。

4.1 .tracker server

tracker server目录及文件结构:
  ${base_path}
    |__data
    |     |__storage_groups.dat:存储分组信息
    |     |__storage_servers.dat:存储服务器列表
    |__logs
          |__trackerd.log:tracker server日志文件
数据文件storage_groups.dat和storage_servers.dat中的记录之间以换行符(\\n)分隔,字段之间以西文逗号(,)分隔。
storage_groups.dat中的字段依次为:
  #. group_name:组名
  #. storage_port:storage server端口号
storage_servers.dat中记录storage server相关信息,字段依次为:
  #. group_name:所属组名
  #. ip_addr:ip地址
  #. status:状态
  #. sync_src_ip_addr:向该storage server同步已有数据文件的源服务器
  #. sync_until_timestamp:同步已有数据文件的截至时间(UNIX时间戳
  #. stat.total_upload_count:上传文件次数
  #. stat.success_upload_count:成功上传文件次数
  #. stat.total_set_meta_count:更改meta data次数
  #. stat.success_set_meta_count:成功更改meta data次数
  #. stat.total_delete_count:删除文件次数
  #. stat.success_delete_count:成功删除文件次数
  #. stat.total_download_count:下载文件次数
  #. stat.success_download_count:成功下载文件次数
  #. stat.total_get_meta_count:获取meta data次数
  #. stat.success_get_meta_count:成功获取meta data次数
  #. stat.last_source_update:最近一次源头更新时间(更新操作来自客户端)
  #. stat.last_sync_update:最近一次同步更新时间(更新操作来自其他storage server的同步)

4.2 .storage serverstorage server目录及文件结构:

  ${base_path}
    |__data
    |     |__.data_init_flag:当前storage server初始化信息
    |     |__storage_stat.dat:当前storage server统计信息
    |     |__sync:存放数据同步相关文件
    |     |     |__binlog.index:当前的binlog(更新操作日志)文件索引号
    |     |     |__binlog.###:存放更新操作记录(日志)
    |     |     |__${ip_addr}_${port}.mark:存放向目标服务器同步的完成情况
    |     |
    |     |__一级目录:256个存放数据文件的目录,目录名为十六进制字符,如:00, 1F
    |           |__二级目录:256个存放数据文件的目录,目录名为十六进制字符,如:0A, CF
    |__logs
          |__storaged.log:storage server日志文件
.data_init_flag文件格式为ini配置文件方式,各个参数如下:
  # storage_join_time:本storage server创建时间
  # sync_old_done:本storage server是否已完成同步的标志(源服务器向本服务器同步已有数据)
  # sync_src_server:向本服务器同步已有数据的源服务器IP地址,没有则为空
  # sync_until_timestamp:同步已有数据文件截至时间(UNIX时间戳)
storage_stat.dat文件格式为ini配置文件方式,各个参数如下:
  # total_upload_count:上传文件次数
  # success_upload_count:成功上传文件次数
  # total_set_meta_count:更改meta data次数
  # success_set_meta_count:成功更改meta data次数
  # total_delete_count:删除文件次数
  # success_delete_count:成功删除文件次数
  # total_download_count:下载文件次数
  # success_download_count:成功下载文件次数
  # total_get_meta_count:获取meta data次数
  # success_get_meta_count:成功获取meta data次数
  # last_source_update:最近一次源头更新时间(更新操作来自客户端)
  # last_sync_update:最近一次同步更新时间(更新操作来自其他storage server)
binlog.index中只有一个数据项:当前binlog的文件索引号
binlog.###,###为索引号对应的3位十进制字符,不足三位,前面补0。索引号基于0,最大为999。一个binlog文件最大为1GB。记录之间以换行符(\\n)分隔,字段之间以西文空格分隔。字段依次为:
  1. timestamp:更新发生时间(Unix时间戳)
  2. op_type:操作类型,一个字符
  3. filename:操作(更新)的文件名,包括相对路径,如:5A/3D/VKQ-CkpWmo0AAAAAAKqTJj0eiic6891.a
${ip_addr}_${port}.mark:ip_addr为同步的目标服务器IP地址,port为本组storage server端口。例如:10.0.0.1_23000.mark。文件格式为ini配置文件方式,各个参数如下:
  # binlog_index:已处理(同步)到的binlog索引号
  # binlog_offset:已处理(同步)到的binlog文件偏移量(字节数)
  # need_sync_old:同步已有数据文件标记,0表示没有数据文件需要同步
  # sync_old_done:同步已有数据文件是否完成标记,0表示未完成,1表示已完成
  # until_timestamp:同步已有数据截至时间点(UNIX时间戳)
  # scan_row_count:已扫描的binlog记录数
  # sync_row_count:已同步的binlog记录数
 数据文件名由系统自动生成,包括5部分:存储服务器IP地址、当前时间(Unix时间戳)、文件大小(字节数)、随机数和文件后缀。文件名长度为33字 节。文件可以按目录顺序存放,也可以按照PJW Hash算法hash到65536(256*256)个目录中分散存储,通过配置文件控制。

 

以上是关于fastDFS文件服务器迁移的主要内容,如果未能解决你的问题,请参考以下文章

FastDFS教程IV-文件服务器集群搭建

请问fastdfs如何处理异步地增加和删除文件

fastdfs档案伺服器,上传的档案存在哪

搭建FastDFS文件服务器

搭建FastDFS文件服务器

FastDFS - 文件服务器学习资料