安装FastDFS+Nginx

Posted 2021-01-06 H.U.C-王子

安装FastDFS

FastDFS开发者的GitHub地址为：https://github.com/happyfish100
打开上述链接，我们点击fastdfs–>release，发现最新版的FastDFS为2017年上传的V5.11，接下来我们来安装最新版的FastDFS。
在安装前，我们新建一个目录，用来存储所有下载文件：mkdir /download，进入download目录完成接下来操作：cd /download

1. 下载安装 libfastcommon

libfastcommon是从 FastDFS 和 FastDHT 中提取出来的公共 C 函数库，是FastDFS的基础环境，安装即可 。
1.1 下载 libfastcommon 压缩包：wget https://github.com/happyfish100/libfastcommon/archive/V1.0.36.tar.gz
1.2 解压 libfastcommon 压缩包：tar -zxvf V1.0.36.tar.gz
1.3 进入解压目录编译安装：
cd libfastcommon-1.0.36/
编译：./make.sh
在上面这步中报错：gcc: 未找到命令，即没有gcc命令，那就安装gcc命令：sudo yum -y install gcc gcc-c++，然后重新编译。
安装：sudo ./make.sh install

从安装日志中可以找到　　usr/include/fastcommon 　　common_define.h   两个路径，先记录下来（之后用）

2. 下载安装FastDFS

2.1 下载FastDFS压缩包：wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
2.2 解压：tar -zxvf V5.11.tar.gz
2.3 进入解压目录编译安装：
cd fastdfs-5.11/
编译：./make.sh (注意：需要perl的支持，否则不能运行，可以参考此文章https://blog.csdn.net/wtwshui/article/details/79415799安装)
安装：sudo ./make.sh install

从安装日志中可以找到　　/usr/include/fastdfs         fdfs_define.h   两个路径，先记录下来（之后用）
2.4 查看安装后的相应文件与目录
　　2.4.1 服务脚本：ll /etc/init.d/ | grep fdfs
　　2.4.2 配置文件（这四个是开发者给的样例配置文件）：ll /etc/fdfs/
　　2.4.3 命令工具：ll /usr/bin/ | grep fdfs

3. 配置FastDFS跟踪器(Tracker)

首先，将 /etc/fdfs/目录下开发者给的样例配置文件复制并重命名：
进入目录：cd /etc/fdfs/
复制文件：
sudo cp client.conf.sample client.conf
sudo cp storage.conf.sample storage.conf
sudo cp tracker.conf.sample tracker.conf
sudo cp storage_ids.conf.sample storage_ids.conf

1. 编辑配置文件： vim tracker.conf
2. 修改配置文件：其余的默认即可
配置文件是否不生效，false 为生效，不变即可：
disabled=false
提供服务的端口，不变即可：
port=22122
Tracker 数据和日志目录地址，该目录必须手动创建：
base_path=/root/data/fastdfs/tracker
HTTP 服务端口，修改为80：
http.server_port=80
3. 创建tracker基础数据目录，即base_path对应的目录
mkdir -p /root/data/fastdfs/tracker
4. 防火墙中打开跟踪端口（默认的22122）：
sudo firewall-cmd --permanent --zone=public --add-port=22122/tcp
5. 重启防火墙：
sudo firewall-cmd --reload
6. 查看防火墙中开启的端口：
sudo firewall-cmd --list-port

注意：CentOS7以上使用4.5.6方式开启防火墙，CentOS6版本参考http://www.mamicode.com/info-detail-971703.html做相应操作

7. 启动Tracker，初次成功启动，会在 /home/bdc/data/fastdfs/ (配置的base_path)下创建 data、logs 两个目录。
sudo service fdfs_trackerd start
8. 查看 FastDFS Tracker 是否已成功启动 ，22122端口正在被监听，则算是Tracker服务安装启动成功。
sudo netstat -ntlp | grep 22122 或 sudo lsof -i:22122
9. 关闭Tracker命令：
sudo service fdfs_trackerd stop
10. 设置Tracker开机启动
sudo chkconfig --add fdfs_trackerd
11. 查看开机启动任务：
sudo chkconfig --list

4.配置 FastDFS 存储器(Storage)

编辑配置文件：sudo vim storage.conf
修改配置文件：其余的默认即可
配置文件是否不生效，false 为生效，不变即可：
disabled=false
指定此 storage server 所在组(卷)，根据自身需求更改：
group_name=group1
指定storage server 服务端口，默认即可：
port=23000
心跳间隔时间，单位为秒 (这里是指主动向 tracker server 发送心跳)，默认即可：
heart_beat_interval=30
Storage 数据和日志目录地址，该目录必须手动创建：
base_path=/root/data/fastdfs/storage
存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目，通常只配一个目录。
store_path_count=1
逐一配置 store_path_count 个路径，索引号基于 0。如果不配置 store_path0，那它就和 base_path 对应的路径一样。
store_path0=/root/data/fastdfs/storage 
FastDFS 存储文件时，采用了两级目录。这里配置存放文件的目录个数。 如果本参数只为 N（如： 256），那么 storage server 在初次运行时，会在 store_path 下自动创建 N * N 个存放文件的子目录。
subdir_count_per_path=256
tracker_server 的列表 ，会主动连接 tracker_server，有多个 tracker server 时，每个 tracker server 写一行。
tracker_server=bdcTracker:22122
允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
sync_start_time=00:00
sync_end_time=23:59
访问端口
http.server_port=80

注意：需要重启tracker后，配置才会生效

创建Storage基础数据目录，对应base_path目录及store_path0路径
mkdir -p /root/data/fastdfs/storage 
防火墙中打开存储器端口（默认的 23000）
sudo firewall-cmd --permanent --zone=public --add-port=23000/tcp
重启防火墙：
sudo firewall-cmd --reload
查看防火墙中开启的端口：
sudo firewall-cmd --list-port ‘

补充：由于上面tracker地址配置的不是ip地址，所以我们要修改host文件，使之与ip对应：
sudo vim /etc/hosts
添加如下内容，下面ip为虚拟机ip：
192.168.105.133 bdcTracker

启动 Storage，启动Storage前确保Tracker是启动的。初次启动成功，会在/root/data/fastdfs/storage  目录下创建 data、 logs 两个目录。
sudo service fdfs_storaged start
查看 Storage 是否成功启动，23000 端口正在被监听，则 Storage 启动成功。
sudo netstat -ntlp | grep 23000 或 sudo lsof -i:23000或sudo netstat -ntlp | grep fdfs
关闭 Storage：
sudo service fdfs_storaged stop
查看Storage和Tracker是否在通信：
fdfs_monitor /etc/fdfs/storage.conf
在打印结果中，看到 ip_addr = 192.168.105.133 (bdcTracker) ACTIVE ，表示正在通信。
设置 Storage 开机启动
sudo chkconfig fdfs_storaged on
Storage 目录，同 Tracker，Storage 启动成功后，在base_path 下创建了data、logs两个目录，记录着 Storage Server 的信息。在 store_path0 目录下，创建了N*N个子目录，用于存储文件。

 

5. 文件上传测试

修改 Tracker 服务器中的客户端配置文件：sudo vim client.conf
修改配置，未列出的默认即可：
Client 的数据和日志目录，该目录必须手动创建：
base_path=/root/data/fastdfs/client
Tracker端口
tracker_server=bdcTracker:22122
Http访问端口
http.tracker_server_port=80

创建Client数据目录：
mkdir -p /root/data/fastdfs/client 
上传测试
在linux内部执行如下命令上传 02.jpg 图片
fdfs_upload_file /etc/fdfs/client.conf /home/bdc/图片/02.jpg
上传成功后返回文件ID号：group1/M00/00/00/wKhphVrwGUmAduGXAAHjhVtVRZw426.jpg，返回的文件ID由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成。
查看文件：
ll /root/data/fastdfs/storage/data/00/00

 

安装nginx

前言：Nginx安装环境准备工作
1) gcc准备：安装nginx需要先将官网下载的源码进行编译，编译依赖gcc环境，查看是否安装gcc：
yum list installed | grep gcc
如果没有gcc环境，需要安装gcc，执行命令安装：
sudo yum -y install gcc gcc-c++
2) PCRE准备：PCRE是一个Perl库，包括 Perl 兼容的正则表达式库。nginx的http模块使用PCRE来解析正则表达式，所以需要在Linux上安装PCRE库，执行安装命令：
sudo yum -y install pcre pcre-devel
3) zlib准备：zlib库提供了很多种压缩和解压缩的方式，nginx使用zlib对http包的内容进行gzip，所以需要在linux上安装zlib库，运行安装命令：
sudo yum -y install zlib zlib-devel
4) openssl准备：OpenSSL 是一个强大的安全套接字层密码库，囊括主要的密码算法、常用的密钥和证书封装管理功能及SSL协议，并提供丰富的应用程序供测试或其它目的使用。
nginx不仅支持http协议，还支持https（即在ssl协议上传输http），所以需要在linux安装openssl库。运行安装命令：
sudo yum -y install openssl openssl-devel

正式安装Nginx

目前版本的FastDFS还不支持http访问文件，所以要想通过http来访问已经上传成功的文件，需要安装Nginx支持；Nginx只需要安装到StorageServer所在的服务器即可，用于支持http访问文件。
1. 下载Nginx：
wget https://nginx.org/download/nginx-1.14.0.tar.gz
2. 解压
tar -zxvf nginx-1.14.0.tar.gz
3. 进入解压目录编译安装：
3.1 进入目录：
cd nginx-1.14.0
3.2 配置Nginx：启用 openssl密码库，并使用当前用户启动nginx，其余默认即可
./configure --with-http_ssl_module --user=root
3.3 编译 Nginx：
make -j 4
3.4 安装：
sudo make install
3.5 创建软链接（类似快捷方式），并启动 Nginx：
sudo ln -s /usr/local/nginx/sbin/nginx /usr/bin/
sudo nginx
其他命令：
sudo nginx -s stop
sudo nginx -s reload
3.6 查看是否启动成功：
sudo netstat -anp | grep nginx
3.7 设置nginx开机启动
sudo vim /etc/rc.local
添加下面一行：
/usr/local/nginx/sbin/nginx
然后更改文件权限
sudo chmod 744 /etc/rc.d/rc.local
3.8 查看nginx的版本及模块
nginx -V
3.9 访问刚刚上传的图片

1）修改nginx.conf配置
编辑文件：sudo vim /usr/local/nginx/conf/nginx.conf
注：原配置文件中有很多注释掉的内容，这里不再粘贴,，并且需要改动的地方已经加注释标示出来了

#修改nginx启动用户，和系统启动用户一致，nginx默认启动用户为nobody，在nginx安装的时候已经指定为root用户
user root;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
server {
#侦听端口
listen 80;
server_name localhost;
#修改映射地址，将http中的地址/group1/M00/映射为系统实际地址/home/bdc/data/fastdfs/storage/data/
location /group1/M00/ {
alias /root/data/fastdfs/storage/data/;
}
location / {
root html;
index index.html index.htm;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}

 

重启nginx：sudo nginx -s reload 

访问文件：
方式一：http://ip:80/group1/M00/00/00/wKhphVrwGUmAduGXAAHjhVtVRZw426.jpg
注意这里可能出现问题：Centos7自带的最初版火狐浏览器解析上面地址的时候可能解析为一个目录，即：http://bdctracker:8081/group1/M00/00/00/wKhphFrhIVuADqfzAASB-wpUaac425.jpg/这种形式，导致访问不到文件，问题出在wKhphFrhIVuADqfzAASB-wpUaac425.jpg这个位置，把文件和访问地址的后缀名改为.jpeg就可以访问到，具体原因不太清楚，不过谷歌浏览器或者更新后的火狐浏览器又不会出现问题，按上面地址又可以访问到文件，学艺不精，不再研究。。。。

另外注意:防火墙要放行80端口
方式二：wget http://bdc:80/group1/M00/00/00/wKhphVrwGUmAduGXAAHjhVtVRZw426.jpg,可以获取到文件则nginx配置成功。

 

FastDFS 配置 Nginx 模块

前言： fastdfs-nginx-module 模块说明
　　FastDFS 通过 Tracker 服务器，将文件放在 Storage 服务器存储， 但是同组存储服务器之间需要进行文件复制， 数据同步有延迟的问题。
　　假设 Tracker 服务器将文件上传到了 Stroage1，上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 Stroage2，在文件还没有复制完成的情况下，客户端如果用这个文件 ID 在 Stroage2 上取文件，就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件链接到源服务器取文件，避免客户端由于复制延迟导致的文件无法访问错误。

安装配置fastdfs-nginx-module模块
1) 下载 fastdfs-nginx-module
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/master.zip
2) 解压
unzip master.zip
3) 停止nginx服务
sudo nginx -s stop
4) nginx添加fastdfs-nginx-module模块重新编译安装
进入nginx解压目录
cd nginx-1.14.0/
nginx配置fastdfs-nginx-module模块
./configure --with-http_ssl_module --user=root --add-module=../fastdfs-nginx-module-master/src/
编译 
make

注意：编译时可能会出现错误，如出现，解决方式如下：

 cd fastdfs-nginx-module-master/src/

vim config 

修改文件内容如下：

　　ngx_module_incs="/usr/include/fastcommon /usr/include/fastdfs"  说明：里面两个路径是上文中记录的

　　CORE_INCS="$CORE_INCS /usr/include/fastcommon /usr/include/fastdfs"

修改后重新  nginx配置fastdfs-nginx-module模块

安装
sudo make install
5) 查看Nginx的模块
nginx -V
若有下面配置则证明模块添加成功：
configure arguments: --add-module=../fastdfs-nginx-module-master/src/
6) 修改配置文件1
复制 fastdfs-nginx-module 源码中的配置文件mod_fastdfs.conf，并修改配置
sudo cp ~/download/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/
编辑mod_fastdfs.conf文件：
sudo vim /etc/fdfs/mod_fastdfs.conf
修改如下配置，其余默认即可：

#连接超时时间
connect_timeout=15
# TrackerServer的IP和端口
tracker_server=bdcTracker:22122
# StorageServer端口
storage_server_port=23000
# 如果文件ID的uri中包含group分组信息，则要设置为true
url_have_group_name = true
# Storage配置的store_path0路径，必须和storage.conf中的一致
store_path0=/root/data/fastdfs/storage 
7) 修改配置文件2
复制 FastDFS 源码中的配置文件到/etc/fdfs 目录：
cd ~/download/fastdfs-5.11/conf/
sudo cp anti-steal.jpg http.conf mime.types /etc/fdfs/
8) 修改配置文件3
修改nginx的配置文件nginx.conf，修改下面配置，其它不变：
sudo vim /usr/local/nginx/conf/nginx.conf

#location /group1/M00/ {
#alias /home/bdc/data/fastdfs/storage/data/;
#}
#添加fastdfs-nginx-module模块
location ~/group([0-9])/M00/ {
ngx_fastdfs_module;
}
注意：
1) nginx.conf 配置中的 listen 80端口值要与/etc/fdfs/storage.conf中的http.server_port=80 (前面配置为80了)端口值相对应；如果改成其它端口，则需要统一，同时在防火墙中打开该端口。
2) location 的配置，在集群模式中，有多个group，所以这里以正则的方式配置，如果是单一节点可以只配置指定group。
9) 启动Nginx
sudo nginx
打印类似如下信息，则配置成功：
ngx_http_fastdfs_set pid=119826
10) http访问
能获取到文件，则nginx配置成功；注意和前面中直接使用nginx路由访问不同的是，这里配置 fastdfs-nginx-module 模块，可以重定向文件链接到源服务器取文件。
http://bdc:80/group1/M00/00/00/wKhphVrwGUmAduGXAAHjhVtVRZw426.jpg
wget http://bdc:80/group1/M00/00/00/wKhphVrwGUmAduGXAAHjhVtVRZw426.jpg
好了，到此FastDFS单节点安装配置成功，接下来我们使用Java操作FastDFS实现文件上传和下载，最后将单节点模式改为集群模式

 

JAVA代码上传

package com.fdfs.demo;

import org.csource.fastdfs.ClientGlobal;
import org.csource.fastdfs.StorageClient;
import org.csource.fastdfs.StorageServer;
import org.csource.fastdfs.TrackerClient;
import org.csource.fastdfs.TrackerServer;

public class Demo1 {
    public static void main(String[] args) throws Exception {
        //加载配置文件，配置文件中的内容就是tracker服务的地址
        ClientGlobal.init("fdfs_client.conf");
        //创建一个TrackerClient对象
        TrackerClient trackerClient = new TrackerClient();
        //使用TrackerClient对象创建连接，获得一个TrackerServer对象
        TrackerServer trackerServer = trackerClient.getConnection();
        
        // 定义存储服务器对象句柄
        StorageServer storageServer = null;
        
        StorageClient storageClient = new StorageClient(trackerServer, storageServer);
        
        String[] strings = storageClient.upload_file("D:/log.txt", "txt", null);
        
        for (String str : strings) {
            System.out.println(str);
        }
    }
}

connect_timeout = 2
network_timeout = 30
charSet = UTF-8
http.tracker_http_port = 80
http.anti_steal_token = no
http.secret_key = FastDFS1234567890
tracker_server = 192.168.220.128:22122