用asp.net core结合fastdfs打造分布式文件存储系统

最近被安排开发文件存储微服务，要求是可以经过配置来无缝切换咱们公司内部研发的文件存储系统，FastDFS，MongDb GridFS，阿里云OSS，腾讯云OSS等。根据任务紧急度暂时先完成了经过配置来无缝切换内部文件系统以及FastDFS。至于MongDb GridFS，阿里云OSS，腾讯云OSS等则后期须要的话再开发对应的提供者程序集合。

做者：依乐祝
首发公众号：DotNetCore实战
原文连接： http://www.javashuo.com/article/p-oubwflag-cm.html

今天主要是对开发过程，以及对FastDFS这个通用的分布式文件存储服务的单机及集群安装部署过程作个总结。但愿对想要自建分布式文件系统的朋友有所帮助。

什么是FastDFS

这里先简单介绍下分布式文件存储系统。
FastDFS 是一个开源的高性能分布式文件系统（DFS）。 它的主要功能包括：文件存储，文件同步和文件访问，以及高容量和负载平衡。主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。
FastDFS 系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。
　　Tracker Server：跟踪服务器，主要作调度工做，起到均衡的做用；负责管理全部的 storage server和 group，每一个 storage 在启动后会链接 Tracker，告知本身所属 group 等信息，并保持周期性心跳。
　　Storage Server：存储服务器，主要提供容量和备份服务；以 group 为单位，每一个 group 内能够有多台 storage server，数据互为备份。
　　Client：客户端，上传下载数据的服务器，也就是咱们本身的项目所部署在的服务器。

FastDFS开源地址：https://github.com/happyfish100

FastDFS的单机版安装

这里先简单介绍下单机版的安装，跟着作你也能够从0仍是搭建一个单机版的FastDFS。集群版也是在单机版基础上安装的。

第一步 安装相关工具

若是已经安装和wget能够跳过这一步

yum -y install vim wget unzip

-y：不通过询问直接赞成全部操做
vim：linux上面一个比较好用的文本编辑软件
wget：linux上文件下载工具

第二步 安装相关依赖

yum install -y gcc-c++ perl

第三步 安装libfastcommon

你们能够直接到github上面先找到ibfastcommon。这里为了你们方便查找。我已经把把连接给你们整理好了
libfastcommon
这里你们能够先下载到本地，而后再传至服务器上面。这里我使用的是FinalShell。具体操做就不在这里详细说了。
这里目录为：/root/fastdfs/
下载下来的是zip格式压缩包，而后，咱们解压zip

unzip libfastcommon-master.zip

进入到刚刚解压的文件里面

cd libfastcommon-master/

进行编译安装

./make.sh && ./make.sh install

``shell
./make.sh && ./make.sh install

#### 第五步 修改配置文件
切换到配置文件目录下
```shell
cd /etc/fdfs/

查看全部配置文件
使用ls命令就好了

去除全部的.sample后缀

cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf

咱们再次使用ls命令查看

能够看到咱们已经去除了全部的.sample后缀
下一步，建立文件夹，分别建立client，storage，tracker文件夹

mkdir -p /home/software/fastfdfs/data/client
mkdir -p /home/software/fastfdfs/data/storage
mkdir -p /home/software/fastfdfs/data/tracker

client.config配置

下面咱们开始配置文件修改，首先修改的是clietn.conf,使用vim编辑器进行文件的编辑

vim client.conf

使用 :set number 显示行数
修改第11行，肯定日志文件的存储路径，这里用咱们刚刚建立client文件夹路径

base_path = /home/software/fastdfs/data/client

修改第22 行，tracker的地址与端口，根据实际状况进行修改，个人是192.168.1.14。

这里貌似有两个tracker_server,毕竟是单机版部署所以我这里注释了一个
tracker_server = 192.168.1.14:22122

修改号以后记得保存修改！

storage.conf修改

下面咱们修改storage.conf。同上是用vim进行修改
首先咱们修改下11行的分组设置

group_name = group1

接下来修改49行的基础路径，这里也用上面咱们已经建立的路径

base_path = /home/software/fastdfs/data/storage

修改第129行的storage路径。

store_path0 = /home/software/fastdfs/data/storage
注意：这里提示下：存储路径的顺序很重要，不要弄乱了，
基础路径应该独立于存储路径，即尽可能让这两个路径不同。这里我设置了同样

修改第145行 ，配置tracker的IP地址与端口。至于如何填写这个地址，上面配置client.conf的时候，咱们就已经说过了。

tracker_server = 192.168.1.14:22122

tracker.conf 配置

如今修改tracker.conf文件
修改第23行，修改tracker的基础路径。这个路径的文件夹咱们刚刚在上面已经建立过了

base_path = /home/software/fastdfs/data/tracker

修改第57行 归属组设置

store_group = group1

第六步 启动tracker 与storage

启动tracker

fdfs_trackerd /etc/fdfs/tracker.conf start

启动storage

fdfs_storaged /etc/fdfs/storage.conf start

测试是否启动成功，咱们尝试上传文件。个人root文件夹下有一张图片

fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

如上图所示表示上传成功。

第七步 安装nginx访问图片

这里因为服务器已经安装了nginx，所以须要在现有的nginx的版本基础上安装新的fastdfs的模块。，安装方法可能略有不一样
首先查看下nginx的版本

nginx -V

这里须要注意一下，若是你服务器上没有安装过nginx则须要先安装nginx的依赖，而后再进行安装

yum -y install gcc-c++ zlib-devel pcre-devel

以下图所示：

所以咱们须要下载对应版本的源码

wget http://nginx.org/download/nginx-1.16.1.tar.gz

解压安装包

tar zxvf nginx-1.14.0.tar.gz

下载nginx的fastdfs模块，这里我已经帮你们把这个项目github地址整理好了。
astdfs-nginx-module
这这里咱们能够先下载到本身电脑上，再上传服务器。
进行解压

unzip fastdfs-nginx-module-master.zip

这里因为咱们已经安装了nginx，所以须要备份以前的nginx防止出现问题进行还原

mv /usr/sbin/nginx /usr/sbin/nginx.back
cp -rf /etc/nginx/ /etc/nginx.back

切换到nginx压缩包的解压目录里面去

cd nginx-1.16.1

进行配置检测而且添加模块

./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/

--prefix : nginx的安装目录
--add-module：解压后模块所在目录，记得要加上src

执行以下命令进行nginx的从新编译,若是以前已经安装了nginx则不能执行install，不然会覆盖以前的配置文件,也能够在安装后再把以前的配置覆盖过来。

make && make install

拷贝编译后的nginx到原来的安装目录

cp objs/nginx /usr/sbin/nginx

重启nginx

systemctl restart nginx
//第二种方式
nginx -s reload

//第一次安装,直接输入nginx
nginx

切换至fastdfs的解压包里面去

cd /root/fastfdfs/fastdfs-master

进行文件的复制

cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/

切换至fastdfs-nginx-module的解压目录下面

cd /root/fastdfs/fastdfs-nginx-module-master

进行配置文件的复制

cp src/mod_fastdfs.conf /etc/fdfs/

mod_fastdfs.conf配置

修改/etc/fdfs下面的mod_fastdfs.conf配置文件

vim /etc/fdfs/mod_fastdfs.conf

修改 40行，更改tracker的ip地址与端口

tracker_server=192.168.1.14:22122

修改48行的group_name

修改53行 url地址中是否包含组名，若是连接中包含group则须要设置为true

url_have_group_name = true

修改62行 storage所在目录

store_path0=/home/software/fastdfs/data/storage

保存修改。

nginx修改

这里注意，每一个笨的配置文件存储的方式不一样，此步骤可能有所不一样。
进行nginx配置文件的修改，咱们能够切换到nginx的安装目录下面。也能够直接输入以下命令

注意：这里个人nginx版本为1.16.1，配置文件为conf.d下面的全部的*.conf文件。所以个人输入命令以下：

vim /etc/nginx/conf.d/default.conf

进行nginx.conf的修改，以下图所示：

server {
          listen       8888;
          server_name  192.168.1.93;
          
          location ~/group([0-9])/M00 {
              #root   html;
              #index  index.html index.htm;
              root    /home/software/fastdfs/data/storage/data;
              ngx_fastdfs_module;
          }
      }

多个group的配置

当配置多个组，且mod_fastdfs.conf 里面指定了url_have_group_name= true 时，配置方式:

location ~  /group([0-9]) /M00 {
     root /home/software/fastdfs/data/storage/data;
     ngx_fastdfs_module;
}

好比:在group1上的 nginx 的nginx.conf 配置是

location  /group1/M00 {
     root /home/software/fastdfs/data/storage/data;
     ngx_fastdfs_module;
}

好比:在group2上的 nginx 的nginx.conf 配置是

location   /group2/M00 {
     root /home/software/fastdfs/data/storage/data;
     ngx_fastdfs_module;
}

查看nginx的配置文件是否有效

nginx -t

显示 is ok没有任何问题，如今启动nginx。这里我配置为开机自动启动

systemctl restart nginx
// 第二种方式
nginx -s reload

依照上面的方式，咱们从新上传一张图片。并进行访问
测试是否启动成功，咱们尝试上传文件。个人root文件夹下有一张图片

fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

上传成功，访问下面的地址

路径说明

group1：表示这张图片被保存在了哪一个组当中，
M00：表明磁盘目录，若是电脑只有一个磁盘那就只有M00， 若是有多个磁盘，那就M0一、M02...等等。
00/00：表明磁盘上的两级目录，每级目录下是从00到FF共256个文件夹，两级就是256*256个。
wKgBE1r-fICAcd3kAAHY-4ojheI481.jpeg表示被存储到storage上的test.jpeg被重命名的名字，这样作的目的是为了防止图片名字重复。
咱们到单机版的数据目录下查看一下是否有咱们刚才上传的图片，发现是有的返回的图片信息中明确说明了存储在了group1下面。

FastDFS集群版的安装

这里集群版的安装是在单机版的基础上安装的。

机器准备

IP	做用	模块
192.168.1.14	storage(group1)    tracker1	fastdfs+nginx+fastdfs-nginx-module
192.168.1.15	storage(group1)	fastdfs+nginx+fastdfs-nginx-module
192.168.1.16	storage(group2)   tracker2	fastdfs+nginx+fastdfs-nginx-module
192.168.1.93	storage(group2)	fastdfs+nginx+fastdfs-nginx-module
192.168.1.197	VIP（对外提供服务）	nginx

安装步骤

软件准备

在全部服务器上建立以下目录用来存储须要安装的软件包

mkdir -p ~/fastdfs/

在tracker1上下载所须要的软件安装包，并放在以下目录下

~/fastdfs/

查看以下所示：

进入对应的文件夹并拷贝对应的文件到其余几台服务器上：

scp ./* root@192.168.1.15:~/fastdfs/
scp ./* root@192.168.1.16:~/fastdfs/
scp ./* root@192.168.1.93:~/fastdfs/
scp ./* root@192.168.1.197:~/fastdfs/

在storage服务器及tracker服务器都建立以下的文件夹，用来存放fastdfs的数据及日志文件

mkdir -p /home/software/fastfdfs/client
mkdir -p /home/software/fastfdfs/storage
mkdir -p /home/software/fastfdfs/tracker

在全部服务器上执行·以下命令安装相关工具

yum -y install vim wget unzip

在全部sotrage及tracker服务器上执行以下命令安装相关依赖

yum install -y gcc-c++ perl

安装

这些操做须要在全部storage及tracker服务器上都进行操做

storage及tracker服务器安装libfastcommon

在须要安装fastdfs的storage及tracker服务器上安装libfastcommon
这里咱们进入安装文件目录~/fastdfs/，执行以下命令，解压并编译安装：

unzip libfastcommon-master.zip
cd libfastcommon-master/
./make.sh && ./make.sh install

出现以下图所示则表示安装成功

storage及tracker服务器安装fastdfs

在须要安装fastdfs的storage及tracker服务器上安装fastdfs
这里咱们进入安装文件目录~/fastdfs/，执行以下命令，解压并编译安装：

unzip fastdfs-master.zip
cd fastdfs-master/
./make.sh && ./make.sh install
cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/

进行文件的复制

cp conf/http.conf /etc/fdfs/
cp conf/mime.types /etc/fdfs/

修改配置文件

切换到配置文件目录，并执行以下命令去除全部的.sample后缀：

cd /etc/fdfs/
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp storage_ids.conf.sample storage_ids.conf
cp tracker.conf.sample tracker.conf

修改client.config配置

须要测试的时候才须要配置此client.conf配置

vim client.conf

修改内容以下：

11 base_path = /home/software/fastdfs/client
22 tracker_server = 192.168.1.14:22122

vim修改storage.conf 
修改内容以下：

11  group_name = group1
49  base_path = /home/software/fastdfs/storage
129 /home/software/fastdfs/data/storage
145 tracker_server = 192.168.1.14:22122

vim修改tracker.conf配置

这里只有tracker服务器才须要配置此配置及 14跟16

修改内容以下：

23   base_path = /home/software/fastdfs/tracker
57   store_group = group1

安装nginx

只有sotrage服务器及vip服务器须要安装nginx用来提供文件的访问
在安装nginx前须要安装相关的依赖并下载对应的源码，执行以下命令。此文件也保存到文件安装目录

yum -y install gcc-c++ zlib-devel pcre-devel
wget http://nginx.org/download/nginx-1.16.1.tar.gz
tar zxvf nginx-1.14.0.tar.gz

解压nginx的fastdfs模块,并进入到文件夹下进行配置文件的复制

nginx的fastdfs模块在全部storage服务器上进行安装

unzip fastdfs-nginx-module-master.zip
cd ~/fastdfs/fastdfs-nginx-module-master
cp src/mod_fastdfs.conf /etc/fdfs/

进入到nginx源码目录，进行配置检测并添加对应的fastdfs模块。而后进行nginx的安装

./configure --prefix=/etc/nginx/ --sbin-path=/usr/sbin/nginx --add-module=/root/fastdfs/fastdfs-nginx-module-master/src/
make && make install
#若有须要能够拷贝nginx到sbin目录
cp objs/nginx /usr/sbin/nginx

mod_fastdfs.conf配置

vim修改/etc/fdfs下面的mod_fastdfs.conf配置文件

40   tracker_server=192.168.1.14:22122
48   group_name=group1
53   url_have_group_name = true
62   store_path0=/home/software/fastdfs/storage

nginx配置修改

只有sotrage服务器及vip服务器须要安装，
group1的服务器须要新增以下server配置，root路径为storage的data路径

server {
          listen       8888;
          server_name  192.168.1.93;
          
          location /group1/M00 {
              #root   html;
              #index  index.html index.htm;
              root    /home/software/fastdfs/storage/data;
              ngx_fastdfs_module;
          }
      }

group2的服务器上新增以下server配置，root路径为storage的data路径

server {
          listen       8888;
          server_name  192.168.1.93;
          
          location /group2/M00 {
              #root   html;
              #index  index.html index.htm;
              root    /home/software/fastdfs/storage/data;
              ngx_fastdfs_module;
          }
      }

vip服务器的nginx配置以下：

#设置 group1 的服务器
upstream fdfs_group1 {
    server 192.168.1.14:8888 weight=1 max_fails=2 fail_timeout=30s;
    server 192.168.1.15:8888 weight=1 max_fails=2 fail_timeout=30s;
}

#设置 group2 的服务器
upstream fdfs_group2 {
    server 192.168.1.16:8888 weight=1 max_fails=2 fail_timeout=30s;
    server 192.168.1.93:8888 weight=1 max_fails=2 fail_timeout=30s;
}

server {
    listen       80;
    server_name  192.168.1.197;

    #charset koi8-r;
    #access_log  /var/log/nginx/host.access.log  main;
	
	#设置默认路径
    location / {
        root   html;
        index  index.html index.htm;
    }

	#设置 group 的负载均衡参数
    location /group1/M00 {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://fdfs_group1;
    }

    location /group2/M00 {
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_pass http://fdfs_group2;
    }
}

查看nginx的配置文件是否有效

nginx -t

显示 is ok没有任何问题，如今启动nginx。这里我配置为开机自动启动

# 服务形式的nginx重启方式
systemctl restart nginx
//第二种方式
nginx -s reload

//第一次安装,直接输入nginx
nginx

依照上面的方式，咱们从新上传一张图片。并进行访问
测试是否启动成功，咱们尝试上传文件。个人root文件夹下有一张图片

fdfs_test /etc/fdfs/client.conf upload /root/fastdfs/test.jpeg

上传成功，访问下面的地址

asp.net core操做FastDFS

这里的微服务是基于abp vnext的。只是在应用层进行相关的服务开发。这里须要说明下，这里我是使用工厂模式，根据配置来建立对应的文件操做提供者，进而对对应的文件服务器上的文件进行操做的。这里我只摘录FastDFS相关的代码供你们参考。

第一步 安装对应的nuget包

这里我用的是更新时间相对比较近下载量相对比较多的做者的nuget包，

Install-Package FastDFSNetCore -Version 1.2.5

第二步，编写一个FastDFSProvider

具体的代码以下所示：

/// <summary>
    /// 功能介绍:FastDFS提供者
    /// 做者:lzhu
    /// 建立日期:2020/4/23 19:54:35
    /// </summary>
public class FastDFSProvider : IStorageProvider, ITransientDependency
    {
        /// <summary>
        /// 提供程序名称
        /// </summary>
        public string ProviderName => "FastDFS";

        //配置
        private readonly FastDFSConfig _fastDFSConfig;


        /// <summary>
        /// 构造函数
        /// </summary>
        /// <param name="fastDFSConfig">注入配置数据</param>
        public FastDFSProvider(FastDFSConfig fastDFSConfig)
        {
            _fastDFSConfig = fastDFSConfig ?? throw new ArgumentNullException(nameof(fastDFSConfig));
            string[] trackers = fastDFSConfig.Trackers.Split(',', StringSplitOptions.RemoveEmptyEntries);
            var trackerIPs = new List<IPEndPoint>();
            foreach (var onetracker in trackers)
            {
                trackerIPs.Add(new IPEndPoint(IPAddress.Parse(onetracker), fastDFSConfig.Port));
            }
            ConnectionManager.Initialize(trackerIPs);
        }

        /// <summary>
        /// 经过文件名删除对应的文件
        /// </summary>
        /// <param name="objectName">对象名称</param>
        /// <param name="groupName">分组名称</param>
        /// <returns>是否成功</returns>
        public async Task<bool> DeleteObjectByNameAsync(string objectName, string groupName = "")
        {
            RestoreFileName(objectName, out string fileName, out groupName);
            await FastDFSClient.RemoveFileAsync(groupName, fileName);
            return true;
        }

        /// <summary>
        /// 获取网关链接
        /// </summary>
        /// <returns>网关链接</returns>
        public Task<string> GetGateWayUrl() => Task.FromResult(_fastDFSConfig.GateWayUrl);

        /// <summary>
        /// 获取对象二进制数组
        /// </summary>
        /// <param name="groupName">组名称</param>
        /// <param name="objectName">对象名称</param>
        /// <returns>对象的二进制数组</returns>
        public async Task<byte[]> GetObjectByteAsync(string objectName, string groupName = "")
        {
            RestoreFileName(objectName, out string fileName, out groupName);
            var storageNode = await GetStorageNodeAsync(groupName);
            return await FastDFSClient.DownloadFileAsync(storageNode, fileName);
        }

        /// <summary>
        /// 获取对象流
        /// </summary>
        /// <param name="groupName">组名称</param>
        /// <param name="objectName">对象名称</param>
        /// <returns>对象流</returns>
        public async Task<Stream> GetObjectStreamAsync(string objectName, string groupName = "")
        {
            RestoreFileName(objectName, out string fileName, out groupName);
            var storageNode = await GetStorageNodeAsync(groupName);
            FDFSFileInfo fileInfo = await FastDFSClient.GetFileInfoAsync(storageNode, fileName);
            Stream stream = new MemoryStream();
            int limit = 1024 * 100;//每次获取100KB的数据

            //若是文件大小大于100KB  分次写入
            if (fileInfo.FileSize >= limit)
            {
                long offset = 0;
                long len = limit;
                while (len > 0)
                {
                    byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName, offset, len);
                    stream.Write(buffer, 0, int.Parse(len.ToString()));
                    stream.Flush();
                    offset += len;
                    len = (fileInfo.FileSize - offset) >= limit ? limit : (fileInfo.FileSize - offset);
                }

            }
            else
            {
                //若是文件大小小小于100KB  直接写入文件
                byte[] buffer = await FastDFSClient.DownloadFileAsync(storageNode, fileName);
                stream.Write(buffer, 0, buffer.Length);
                stream.Flush();
            }

            stream.Seek(0, SeekOrigin.Begin);
            return stream;
        }

        /// <summary>
        /// 存储文件
        /// </summary>
        /// <param name="objectByte">对象</param>
        /// <param name="objectName">对象名</param>
        /// <param name="groupName">分组</param>
        /// <returns></returns>
        public async Task<string> StoreObjectByteAsync(byte[] objectByte, string objectName, string groupName = "")
        {
            var storageNode = await GetStorageNodeAsync("");
            var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectByte, Path.GetExtension(objectName));
            return storageNode.GroupName + "/" + filePath;
        }

        /// <summary>
        /// 存储文件
        /// </summary>
        /// <param name="objectStream">文件流</param>
        /// <param name="objectName">对象名</param>
        /// <param name="groupName">分组</param>
        /// <returns>文件路径</returns>
        public async Task<string> StoreObjectStreamAsync(Stream objectStream, string objectName, string groupName = "")
        {
            var storageNode = await GetStorageNodeAsync("");
            var filePath = await FastDFSClient.UploadFileAsync(storageNode, objectStream, Path.GetExtension(objectName));
            return storageNode.GroupName + "/" + filePath;
        }
    }

第三步 在分布式配置中心中进行配置

这里的分布式配置中心中进行FastDFS的配置以下：

"ObjectStorage": {
    "StoreType": "FastDFS",
    "FastDFS": {
      "Trackers": "192.168.1.14,192.168.1.16",
      "Port": 22122,
      "GateWayUrl": "http://192.168.1.197"
    }
  }

第四步 文件提供者工厂方法中加入FastDFS的处理

工厂方法根据上面配置中的StoreType从而知道对应的存储是往FastDFS集群进行存储的，进而再加载对应的FastDFS的配置，而后建立上面的FastDFSProvider。
主要代码摘录以下：

case "RondsDFS":
   	 {
    var rondsDFSSection = _configuration.GetSection("ObjectStorage:RondsDFS");

    if (rondsDFSSection == null)
       throw new ArgumentNullException("RondsDFS is not configured![OObjectStorage:RondsDFS]");

        StorageProvider = _serviceProvider.GetRequiredService<RondsDFSProvider>();
        break;
     }

总结

今天首先给你们讲解了如何搭建FastDFS单机版及集群版，而后讲解了如何经过asp.net core对FastDFS进行操做。固然因为个人文件系统对应多个文件存储程序，所以这里只是把FastDFS做为其中一个提供者进行处理。大伙能够只参考其中的操做方法便可。原本想录个视频的，毕竟安装过程稍显复杂，奈何机器不容许，Pass了！有问题能够加QQ两千人群637326624进行交流。

参考文章

https://zhuanlan.zhihu.com/p/80256918
https://blog.51cto.com/13712476/2130525
http://www.javashuo.com/article/p-wdxjxnih-br.html
https://github.com/happyfish100/fastdfs/wiki