fastdfs分布式文件系统部署

前言

传统web站点部署大部分都是基于动静分离的方式，静态图片存放于一台nfs存储。可是这种架构有一个问题就是nfs存储是单点，并且若是图片量过大的时候，则nfs会成为性能短板。基于此能够采用分布式存储的替代方案来替代nfs。
fastdfs不但能够存储图片，还能够存储其余非结构化数据，其特性是能够存放海量的中小容量文件，并且性能和容量也不会成为瓶颈。

fastdfs架构

fastdfs基于以下两个组件组成：

• tracker节点：存储数据的元数据节点，此节点存放的是全部数据的元数据，如数据路径，保存时间等信息。其信息是storage节点定时上传到tracker节点的。
• storage节点：用于存放数据，storage节点的特色是两个或多个节点为一组构成一个集群，相似于镜像集群，数据只存放于两台上任意一台，而另外一台则自动从另外一台同步数据，保证数据为双份或多份。
  架构图：
  

fastdfs访问步骤

上传文件步骤

1. 客户端上传文件请求，请求到到tracker节点；
2. tracker节点基于内部算法选择合适的storage节点发送给客户端；
3. 客户端访问指定的storage节点，而后保存到指定storage上；
   访问文件步骤
4. 客户端发起请求到tracker节点；
5. tracker节点基于请求文件路径能够得出文件存放在哪一个storage节点上，由于请求文件名是包含路由信息的；
6. tracker节点返回storage节点信息给client，client访问storage节点拿到数据；

实验配置

此处采用4台服务器进行配置，一台既为tracker节点，也为storage节点，其他3台都为storage节点。

下载源码包制做成rpm包
安装的话能够经过编译安装，不过此处由于要安装4台服务器，因此我从github克隆下来源码制做成源码包进行分发安装，提升效率。

1. github克隆源码包，由于fastdfs依赖于libevent，因此须要首先安装libevent。

git clone https://github.com/happyfish100/libfastcommon.git
git clone https://github.com/happyfish100/fastdfs.git

1. 修改下载先来的源码包目录名，加上版本号，版本号能够从目录内的spec文件内查看到，而且制做成.tar.gz格式的包

mv libfastcommon libfastcommon-1.0.36
tar zcf libfastcommon libfastcommon-1.0.36.tar.gz libfastcommon libfastcommon-1.0.36/*
mv fastdfs fastdfs fastdfs fastdfs-5.0.11
tar zcf fastdfs-5.0.11.tar.gz fastdfs-5.0.11/*

1. 安装development tools编译包，而后建立rpmbuild目录，并把相应tar.gz包和spec文件拷贝到相应目录进行rpm包制做

mkdir /root/rpmbuild/{SOURCES,SPECS}
mv libfastcommon libfastcommon-1.0.36.tar.gz /root/rpmbuild/SOURCES/
mv /root/libfastcommon-1.0.36/libfastcommon.spec /root/rpmbuild/SPECS/
mv fastdfs-5.0.11.tar.gz  /root/rpmbuild/SOURCES/
mv /root/fastdfs-5.0.11/fastdfs.spec /rpm/rpmbuild/SPECS/

1. 进入/root/rpmbuild/SPECS/目录，进行rpm包制做

rpmbuild -bb libfastcommon.spec
rpmbuild -bb fastdfs.spec

1. 制做完成以后会在rpmbuild目录下生成一些目录，以下：
   
   其中RPMS目录为制做好的源码包
   

2. 先安装libfastcommon，由于fastdfs依赖它，而后再安装fastdfs便可，而后拷贝到其余服务器进行安装。

配置tracker节点
安装完成以后会在/etc目录下生成fdfs目录，其中文件以下，其中为各类配置文件：

配置tracker.conf

base_path=/data/fastdfs    #修改工做路径为本身建立路径

port=22122    #监听端口为221222端口#

# the method of selecting group to upload files    #指定文件上传方式时上传到哪一个组#
# 0: round robin    #轮询选择#
# 1: specify group    #指定组#
# 2: load balance, select the max free space group to upload file    #根据负载，哪一个组剩余空间最大上传到哪一个组#
store_lookup=2

# which group to upload file    #若是指定组，此处指定上传到哪一个组#
# when store_lookup set to 1, must set store_group to the group name
store_group=group2

# which storage server to upload file    #上传到组内哪一个服务器#
# 0: round robin (default)    #轮询#
# 1: the first server order by ip address    #ip小的服务器#
# 2: the first server order by priority (the minimal)    #根据服务器优先级#
# Note: if use_trunk_file set to true, must set store_server to 1 or 2
store_server=0

# which path(means disk or mount point) of the storage server to upload file    #上传到服务器哪一个硬盘#
# 0: round robin    #轮询#
# 2: load balance, select the max free space path to upload file    #根据剩余空间#
store_path=0

# which storage server to download file    #从组内哪一个服务器请求数据#
# 0: round robin (default)    #轮询#
# 1: the source storage server which the current file uploaded to    #最开始上传到哪一个服务器#
download_server=0

其余参数无需过多修改。
配置storage节点

1. 四台服务器都须要配置storage节点，修改/etc/fdfs/storage.conf文件

group_name=group1    #指定组名，此处四台服务器，两台为group1，两台为group2,组成镜像组#
port=23000    #指定工做端口#
store_path_count=1    #指定数据存储路径，若是有多个则按照实际数量写，此处只有一个，则写1#
store_path0=/data/storage    #数据存储路径#
tracker_server=192.168.11.200:22122    #tracker节点ip和端口#
upload_priority=10    #数据上传优先级#

1. 配置完成启动服务，tracker服务器须要启动两个服务，storage服务器只须要启动storage服务：

service fdfs_storaged start
service fdfs_trackerd start

1. storage服务器启动以后会在指定存储目录建立多级文件夹，上传的数据就是根据文件名hash值选择相应文件夹进行存放的，以下：
   

上传文件进行测试

1. 上传文件须要配置一个节点为client节点，此处配置tracker节点也为client节点，修改/etc/fdfs/client.conf配置文件，只需修改以下两项便可：

base_path=/data/fastdfs    #client日志存储路径#
tracker_server=192.168.11.200:22122    #tracker节点ip和端口#

1. 上传文件，下图表示上传成功，并显示上传以后的文件名：
   
2. 能够经过fdfs_file_info命令查看文件存储在哪里，下图表示存储在ip为203的节点上：
   
3. 由于203和204服务器互为镜像，因此204节点此时在相同的目录下也会存在此文件。

编译安装nginx，经过http发布文件

1. 在文件存在相应服务器编译安装nginx，须要给nginx打上fastdfs-nginx-module的补丁；
2. 下载fastdfs-nginx-module，从https://github.com/happyfish100/fastdfs-nginx-module.git经过git clone便可克隆下来；
3. 下载nginx源码包进行编译

./configure   --prefix=/usr   --sbin-path=/usr/sbin/nginx   --conf-path=/etc/nginx/nginx.conf   --error-log-path=/var/log/nginx/error.log   --http-log-path=/var/log/nginx/access.log   --pid-path=/var/run/nginx/nginx.pid    --lock-path=/var/lock/nginx.lock   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre   --with-debug   --add-module=../fastdfs-nginx-module/src/

1. 在/usr/lib/systemd/system/路径下建立nginx.service文件

[Unit]
Description=nginx server
after=network.target remote-fs.target nss-lookup.target
[service]
type=forking
pidfile=/run/nginx.pid
execstartpre=/usr/bin/rm -rf /run/nginx.pid
execstartpre=/usr/sbin/nginx -t
execstart=/usr/bin/nginx
execreload=/bin/kill -s HUP $MAINPID
killsignal=SIGQUIT
timeoutstopsec=5
killmode=process
privatetmp=true
[install]
wantedby=multi-user.target

1. 把fastdfs-nginx-module中的mod_fastdfs.conf拷贝到/etc/fdfs/路径下，并修改配置

base_path=/data/fastdfs    #指定工做目录#
tracker_server=192.168.11.200:22122    #指定tracker的ip地址#
group_name=group2    #指定当前服务器所属组#
url_have_group_name = false    #此项若是为true，则访问文件须要在前面添加group信息，不然直接写M00便可#
store_path0=/data/storage    #指定存储路径#
log_filename=/data/fastdfs/logs/mod_fastdfs.log    #指定log日志文件路径#

1. 编辑/etc/nginx/nginx.conf文件，添加以下内容

location /M00 {
            alias /data/storage/data;
            ngx_fastdfs_module;
}

1. 启动nginx，而后访问指定文件，如group2/M00/00/00/wKgLy1ltrLCAZ4TOAA6q2wjnW8s371.jpg文件，能够看到访问成功。
   

总结

如今文件只是可以分布式上传到不一样的服务器节点了，可是若是要访问的话还须要在本地安装nginx，不过nginx须要打fastdfs-nginx-module补丁才能使用。编译成功以后本地配置nginx的反向代理到指定的工做目录便可经过nginx访问到指定资源。不过生产环境中fastdfs中文件的上传下载都是经过前端的程序来自动写入和请求的。