python学习之美多商城(十三):商品部分:FastDFSDocker安装FastDFSFastDFS客户端与自定义文件存储系统

Posted 2022-08-22 浅弋、璃鱼

一、什么是FastDFS:

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS架构包括 Tracker server 和 Storage server。客户端请求Trackerserver进行过文件上传、下载,通过Tracker server调度最终由Storage server完成文件上传、下载。

• Tracker server 作用是负载均衡和调度,通过Tracker server在文件上传时可以根据一些策略找到Storage server提供文件上传服务。可以将tracker称为追踪服务器或 调度服务器。
• Storage server 作用是文件存储,客户端上传的文件最终存储在Storage存储器上,Storageserver没有实现自己的文件系统而是利用操作系统的文件系统来管理文件。可以将storage称为存储服务器。
  

服务端两个角色:

• Tracker :管理集群,tracker也可以实现集群。每个tracker节点地位平等。收集Storage集群的状态。
• Storage :实际保存文件,Storage分为多个组,每个组之间保存的文件时不同的。每个组内部都可以有很多成员,组成员内部保存的内容是一样的,组成员的地位是一致的,没有主从的概念。

2.文件上传流程:

客户端上传文件后存储服务器将文件ID返回给客户端,此文件ID用于访问文件的索引信息。文件索引信息包括:组名, 虚拟磁盘路径, 数据两级目录,文件名

• 组名 : 文件上传后所在的storage组名称, 在文件上传成功后有storage服务器返回,需要客户端自行保存。
• 虚拟磁盘路径 : storage配置;额虚拟路径, 与磁盘选项store_path*对应。如果配置了store_path0则是M00, 如果配置了store_path1则是M哦, 以此类推。
• 数据两级目录 ：storage 服务器在每个虚拟磁盘路径下创建的两级目录，用于存储数据 文件。
• 文件名 ：与文件上传时不同。是由存储服务器根据特定信息生成，文件名包含:源存储 服务器 IP 地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息

3.简易FastDFS构建:

二、Docker安装FastDFS

1.获取镜像:

可以利用已有的FastDFS Docker镜像来运行Fast DFS。
获取镜像可以通过下载:

sudo docker image pull delron/fastdfs

也可是直接使用提供给大家的镜像备份文件

sudo docker load -i 文件路径/fastdfs_docker.tar

加载好镜像后，就可以开启运行FastDFS的tracker和storage了。

2.运行tracker:

执行如下命令开启tracker服务:

sudo docker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker

• 我们将fastDFS tracker运行目录映射到本机的 /var/fdfs/tracker目录中。
  执行如下命令查看tracker是否运行起来

sudo docker container ls

如果想停止tracker服务，可以执行如下命令

sudo docker container stop tracker

停止后，重新运行tracker，可以执行如下命令

sudo docker container start tracker

3.运行storage

执行如下命令开启storage服务:

sudo docker run -dti --network=host --name storage -e TRACKER_SERVER=192.168.154.129:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage

• TRACKER_SERVER=本机的IP地址:22122 本机的ip地址不要使用127.0.0.1
• 我们将fastDFS storage运行目录映射到本机的/var/fdfs/storage目录
  执行如下命令查看storage是否运行起来

sudo docker container ls

如果想停止storage服务，可以执行如下命令

sudo docker container stop storage

停止后，重新运行storage，可以执行如下命令

sudo docker container start storage

注意：如果无法重新运行，可以删除/var/fdfs/storage/data目录下的fdfs_storaged.pid 文件，然后重新运行storage。

三、FastDFS客户端与自定义文件存储系统

1.FastDFS的python客户端:

python版本的FastDFS客户端使用说明参考:
https://github.com/jefforeilly/fdfs_client-py

1.1 安装:

安装提供的fdfs_client-py-master.zip文件到虚拟环境中:

pip install fdfs_client-py-master.zip
pip install mutagen
pip isntall requests

1.2 使用:

使用FastDFS客户端,需要有配置文件。我们在meiduo_mall/utils目录下新建fastdfs目录,将提供的client.conf配置文件放到这个目录中。
需要修改一下client.conf配置文件

base_path=FastDFS客户端存放日志文件的目录
tracker_server=运行tracker服务的机器ip:22122

上传文件需要先创建fdfs_client.client.Fdfs_client的对象,并指明配置文件:如:

from fdfs_client.client import Fdfs_client
client = Fdfs_client("meiduo_mall/utils/fastdfs/client.conf")

通过创建的客户端对象执行上传文件的方法:

client.upload_by_filename(文件名)
或
client.upload_by_buffer(文件bytes数据)

如:

>>> ret = client.upload_by_filename('/Users/delron/Desktop/1.png')
getting connection
<fdfs_client.connection.Connection object at 0x1098d4cc0>
<fdfs_client.fdfs_protol.Tracker_header object at 0x1098d4908>
>>> ret
'Group name': 'group1', 'Remote file_id': 'group1/M00/00/02/CtM3BVr-k6SACjAIAAJctR1ennA809.png', 'Status': 'Upload successed.', 'Local file name': '/Users/delron/Desktop/1.png', 'Uploaded size': '151.00KB', 'Storage IP': '10.211.55.5'
>>>

• Remote file_id 即为FastDFS保存的文件的路径

2.自定义Django文件存储系统:

Django是自带文件存储系统的,但是默认的文件存储到本地,在本项目中,需要将文件保存到FastDFS服务器上,所以需要自定义文件存储系统。
1) 需要继承自django.core.files.storage.Storage, 如:

# /meiduo_mall/utils/fastdfs/fdfs_client.py
from django.core.files.storage import Storage

class FastDFSStorage(Storage):
	...

2) 支持Django不带任何参数来实例化存储类,也就是说任何设置应该从配置django.conf.settings中获取

# /meiduo_mall/utils/fastdfs/fdfs_client.py
# -*-coding:utf-8-*-
from django.conf import settings
from django.core.files.storage import Storage


class FastDFSStroage(Storage):
    """定义FastDFS客户端类"""
    def __init__(self, base_url = None, client_conf = None):
        """
        初始化对象
        :param base_url: 
        :param client_conf: 
        """
        if base_url is None:
            base_url = settings.FDAS_URL
        self.base_url = base_url
        
        if client_conf is None:
            client_conf = settings.FDFS_CLIENT_CONF
        self.client_conf = client_conf

**3)**存储类中必须实现_open()和_save()方法,以及任何后续使用中可能用到的其他方法。

• _open(name, mode = ‘rb’)
  被Storage.open()调用,在打开文件时被调用
• _save(name, content)
  被Storage.save()调用,name是传入的文件名,content是Django接收到的文件内容,该方法需要将content文件内容保存。
  Django会将该方法的返回值保存到数据库中对应的文件字段,也就是说该方法应该返回要保存在数据库中的文件名信息。
• exists(name)
  如果名为name的文件在文件系统中存在,按返回True,否则返回Flase
• url(name)
  返回文件的完整访问URL
• delete(name)
  删除name文件
• listdir(path)
  列出指定路径的文件
• size(name)
  返回name文件的总大小

注意 :并不是这些方法全部都要实现，可以省略用不到的方法
4) 需要为存储类添加django.utils.deconstruct.deconstructible装饰器

# meiduo_mall/utils/fastdfs/fast_storage.py
# -*-coding:utf-8-*-
from django.conf import settings
from django.core.files.storage import Storage
from fdfs_client.client import Fdfs_client


class FastDFSStroage(Storage):
    """定义FastDFS客户端类"""
    def __init__(self, base_url = None, client_conf = None):
        """
        初始化对象
        :param base_url:
        :param client_conf:
        """
        if base_url is None:
            base_url = settings.FDAS_URL
        self.base_url = base_url

        if client_conf is None:
            client_conf = settings.FDFS_CLIENT_CONF
        self.client_conf = client_conf

    def _open(self, name, mode = 'rb'):
        """
        打开文件
        :param name:
        :param mode:
        :return:
        """
        pass

    def _save(self, name, content):
        """
        保存文件
        :param name: 传入文件名
        :param content: 文件内容
        :return:保存到数据库中的FastDFSDE文件名
        """
        client = Fdfs_client(self.client_conf)
        ret = client.upload_by_buffer(content.read())
        if ret.get("Status") != "Upload successed.":
            raise Exception("upload file failed")
        file_name = ret.get("Remote file_id")
        return file_name

    def exists(self, name):
        """
        检查文件是否重复, FastDFS自动区分重复文件
        :param name:
        :return:
        """
        return False

    def url(self, name):
        """
        获取name文件的完整url
        :param name:
        :return:
        """
        return self.base_url + name

3.在Django配置文件中设置自定义文件存储类:

在settings/dev.py中添加设置:

# django文件存储
DEFAULT_FILE_STORAGE = 'meiduo_mall.utils.fastdfs.fdfs_storage.FastDFSStorage'

# FastDFS
FDFS_URL = 'http://image.meiduo.site:8888/'  
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'utils/fastdfs/client.conf')

4.添加image域名

在/etc/hosts中添加访问FastDFS storage服务器的域名

127.0.0.1   image.meiduo.site