django中FastDFS客户端与自定义文件存储系统

1. 什么是FastDFS

FastDFS 是用 c 语言编写的一款开源的分布式文件系统。FastDFS 为互联网量身定制， 充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用 FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文 件上传、下载，经过 Tracker server 调度最终由 Storage server 完成文件上传和下载。

Tracker server 做用是负载均衡和调度，经过 Tracker server 在文件上传时能够根据一些 策略找到 Storage server 提供文件上传服务。能够将 tracker 称为追踪服务器或调度服务器。

Storage server 做用是文件存储，客户端上传的文件最终存储在 Storage 服务器上， Storageserver 没有实现本身的文件系统而是利用操做系统 的文件系统来管理文件。能够将 storage 称为存储服务器。

利用docker安装fastDFS

docker image pull delron/fastdfs
执行以下命令开启tracker 服务
ocker run -dti --network=host --name tracker -v /var/fdfs/tracker:/var/fdfs delron/fastdfs tracker
执行以下命令查看tracker是否运行起来

docker container ls
若是想中止tracker服务，能够执行以下命令

docker container stop tracker
中止后，从新运行tracker，能够执行以下命令

docker container start tracker
执行以下命令开启storage服务
docker run -dti --network=host --name storage -e TRACKER_SERVER=10.211.55.5:22122 -v /var/fdfs/storage:/var/fdfs delron/fastdfs storage
执行以下命令查看storage是否运行起来

docker container ls
若是想中止storage服务，能够执行以下命令

docker container stop storage
中止后，从新运行storage，能够执行以下命令

docker container start storage、
python版本的FastDFS客户端使用说明参考https://github.com/jefforeill...

使用FastDFS客户端，须要有配置文件。
base_path=FastDFS客户端存放日志文件的目录
tracker_server=运行tracker服务的机器ip:22122
上传文件须要先建立fdfs_client.client.Fdfs_client的对象，并指明配置文件，如

from fdfs_client.client import Fdfs_client
client = Fdfs_client('fastdfs/client.conf')
经过建立的客户端对象执行上传文件的方法

client.upload_by_filename(文件名)
或
client.upload_by_buffer(文件bytes数据)

自定义Django文件存储系统
Django自带文件存储系统，可是默认文件存储在本地，咱们须要将文件保存到FastDFS服务器上。
自定义文件存储系统的方法以下：

1）须要继承自django.core.files.storage.Storage，如

from django.core.files.storage import Storage

class FastDFSStorage(Storage):

...

2）支持Django不带任何参数来实例化存储类，也就是说任何设置都应该从django.conf.settings中获取

from django.conf import settings
from django.core.files.storage import Storage

class FastDFSStorage(Storage):

def __init__(self, base_url=None, client_conf=None):
    if base_url is None:
        base_url = settings.FDFS_URL
    self.base_url = base_url
    if client_conf is None:
        client_conf = settings.FDFS_CLIENT_CONF
    self.client_conf = client_conf

3）存储类中必须实现_open()和_save()方法，以及任何后续使用中可能用到的其余方法。

_open(name, mode='rb')

被Storage.open()调用，在打开文件时被使用。

_save(name, content)

被Storage.save()调用，name是传入的文件名，content是Django接收到的文件内容，该方法须要将content文件内容保存。

Django会将该方法的返回值保存到数据库中对应的文件字段，也就是说该方法应该返回要保存在数据库中的文件名称信息。

exists(name)

若是名为name的文件在文件系统中存在，则返回True，不然返回False。

url(name)

返回文件的完整访问URL

delete(name)

删除name的文件

listdir(path)

列出指定路径的内容

size(name)

返回name文件的总大小

注意，并非这些方法所有都要实现，能够省略用不到的方法。

4）须要为存储类添加django.utils.deconstruct.deconstructible装饰器

咱们在fastdfs目录中建立fdfs_storage.py文件，实现可使用FastDFS存储文件的存储类以下

from django.conf import settings
from django.core.files.storage import Storage
from django.utils.deconstruct import deconstructible
from fdfs_client.client import Fdfs_client

@deconstructible
class FastDFSStorage(Storage):

def __init__(self, base_url=None, client_conf=None):
    """
    初始化
    :param base_url: 用于构造图片完整路径使用，图片服务器的域名
    :param client_conf: FastDFS客户端配置文件的路径
    """
    if base_url is None:
        base_url = settings.FDFS_URL
    self.base_url = base_url
    if client_conf is None:
        client_conf = settings.FDFS_CLIENT_CONF
    self.client_conf = client_conf

def _save(self, name, content):
    """
    在FastDFS中保存文件
    :param name: 传入的文件名
    :param content: 文件内容
    :return: 保存到数据库中的FastDFS的文件名
    """
    client = Fdfs_client(self.client_conf)
    ret = client.upload_by_buffer(content.read())
    if ret.get("Status") != "Upload successed.":
        raise Exception("upload file failed")
    file_name = ret.get("Remote file_id")
    return file_name

def url(self, name):
    """
    返回文件的完整URL路径
    :param name: 数据库中保存的文件名
    :return: 完整的URL
    """
    return self.base_url + name

def exists(self, name):
    """
    判断文件是否存在，FastDFS能够自行解决文件的重名问题
    因此此处返回False，告诉Django上传的都是新文件
    :param name:  文件名
    :return: False
    """
    return False

1. 在Django配置中设置自定义文件存储类

在settings/dev.py文件中添加设置

django文件存储

DEFAULT_FILE_STORAGE = 'fastdfs.fdfs_storage.FastDFSStorage'

FastDFS

FDFS_URL = 'http://xxx:8888/'
FDFS_CLIENT_CONF = os.path.join(BASE_DIR, 'fastdfs/client.conf')

1. 添加image域名

在/etc/hosts中添加访问FastDFS storage服务器的域名

127.0.0.1 xxx