(十二) 配置分布式文件系统 FastDFS
1. 前言
项目中用到文件服务器，有朋友推荐用FastDFS，所以就了解学习了一番，感觉确实颇为强大，在此再次感谢淘宝资深架构师余庆大神开源了如此优秀的轻量级分布式文件系统，本篇文章就记录一下FastDFS的最新版本5.0.5在CentOS7中的安装与配置。
2. 简介
首先简单了解一下基础概念，FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。FastDFS的系统结构图如下：
如上图，FastDFS的两个核心概念分别是：
1、Tracker（跟踪器）
2、Storage（存储节点）
Tracker主要做调度工作，相当于mvc中的controller的角色，在访问上起负载均衡的作用。跟踪器和存储节点都可以由一台或多台服务器构成，跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务，其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。Tracker负责管理所有的Storage和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表，Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。
Storage采用了分卷[Volume]（或分组[group]）的组织方式，存储系统由一个或多个组组成，组与组之间的文件是相互独立的，所有组的文件容量累加就是整个存储系统中的文件容量。一个卷[Volume]（组[group]）可以由一台或多台存储服务器组成，一个组中的存储服务器中的文件都是相同的，组中的多台存储服务器起到了冗余备份和负载均衡的作用，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。更多原理性的内容可以参考这篇文章，介绍的很详细：分布式文件系统FastDFS设计原理
接下来就具体看一下FastDFS的整个下载安装过程~
3. 下载
不要下载最新版，最新版一般不稳定，找旧版即可，例如5.0.8，直接在余大的GitHub上下载就可以了：
https://github.com/happyfish100/fastdfs/releases
fastdfs-5.08另一个下载地址：https://download.csdn.net/download/glongljl/10385134
如上图，由于FastDFS是纯C语言实现，只支持Linux、FreeBSD等UNIX系统，所以我们直接下载zip的压缩包，同时FastDFS5.0.8同以前版本相比将公共的一些函数等单独封装成了libfastcommon包，所以在安装FastDFS之前我们还必须安装libfastcommon，在余大的GitHub首页可以看到：
libfastcommon另一个下载地址：https://download.csdn.net/download/glongljl/10385128
下载完成后将下面这两个文件上传至CentOS服务器，然后就可以开始解压安装了：
4. 安装
1) libfastcommon
首先第一步是安装libfastcommon，我这里将libfastcommon上传到的/home/glong目录下，直接解压：
unzip libfastcommon-master.zip
解压成功后进入目录看一下压缩包的文件：
如果没有装解压工具unzip可以通过以下yum命令进行安装后再解压：
yum -y install unzip zip
解压完成后就可以进行编译安装了，分别执行./make.sh和./make.sh install，由于是新安装的系统有可能会提示找不到gcc命令：
如上图，所以我们先要安装gcc编译器：
yum -y install gcc-c++
看到如下信息说明gcc已经安装成功：
此时再次执行./make.sh命令进行编译，没有error信息的话就说明编译成功了，最后再执行./make.sh install进行安装，看到类似如下提示信息就说明libfastcommon已安装成功
至此libfastcommon就已经安装成功了，但注意一下上图中红色框标注的内容，libfastcommon.so 默认安装到了/usr/lib64/libfastcommon.so，但是FastDFS主程序设置的lib目录是/usr/local/lib，所以此处需要重新设置软链接（类似于Windows的快捷方式）：
ln -s /usr/lib64/libfastcommon.so/usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so/usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so/usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so/usr/lib/libfdfsclient.so
设置完毕后就可以开始安装fastdfs了。
2) FastDFS
第一步依然是解压：
unzip fastdfs-5.08.zip
解压完成后进入目录fastdfs-5.08，依次执行./make.sh和./make.sh install：
./make.sh
./make.sh install
没有报错就说明安装成功了，在log中我们可以发现安装路径：
没错，正是安装到了/etc/fdfs中，我们看一下该目录下的文件：
如上图，安装成功后就会生成如上的3个.sample文件（示例配置文件），我们再分别拷贝出3个后面用的正式的配置文件：
cp client.conf.sample client.conf
cp storage.conf.sample storage.conf
cp tracker.conf.sample tracker.conf
之后再查看一下/etc/fdfs的文件目录：
至此FastDFS已经安装完毕，接下来的工作就是依次配置Tracker和Storage了。
3) Tracker
在配置Tracker之前，首先需要创建Tracker服务器的文件路径，即用于存储Tracker的数据文件和日志文件等，我这里选择在/home目录下创建一个fastdfs_tracker目录用于存放Tracker服务器的相关文件：
mkdir /home/fastdfs_tracker
接下来就要重新编辑上一步准备好的/etc/fdfs目录下的tracker.conf配置文件，打开文件后依次做以下修改：
disabled=false #启用配置文件（默认启用）
port=22122 #设置tracker的端口号，通常采用22122这个默认端口
base_path=/home/fastdfs_tracker #设置tracker的数据文件和日志目录
http.server_port=6666 #设置http端口号，默认为8080
配置完成后就可以启动Tracker服务器了，但首先依然要为启动脚本创建软引用，因为fdfs_trackerd等命令在/usr/local/bin中并没有，而是在/usr/bin路径下：
ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin
最后通过命令启动Tracker服务器：
service fdfs_trackerd start
命令执行后可以看到以下提示：
如果启动命令执行成功，那么同时在刚才创建的tracker文件目录/home/fastdfs_tracker中就可以看到启动后新生成的data和logs目录
tracker服务的端口也应当被正常监听，最后再通过netstat命令查看一下端口监听情况：
netstat -unltp|grep fdfs
可以看到tracker服务运行的22122端口正常被监听：
确认tracker正常启动后可以将tracker设置为开机启动，打开/etc/rc.d/rc.local并在其中加入以下配置：
service fdfs_trackerd start
Tracker至此就配置好了，接下来就可以配置FastDFS的另一核心——Storage。
4) Storage
同理，步骤基本与配置Tracker一致，首先是创建Storage服务器的文件目录，需要注意的是同Tracker相比我多建了一个目录，因为Storage还需要一个文件存储路径，用于存放接收的文件：
mkdir /home/fastdfs_storage
mkdir /home/fastdfs_storage_data
接下来修改/etc/fdfs目录下的storage.conf配置文件，打开文件后依次做以下修改：
disabled=false #启用配置文件（默认启用）
group_name=group1 #组名，根据实际情况修改
port=23000 #设置storage的端口号，默认是23000，同一个组的storage端口号必须一致
base_path=/home/fastdfs_storage #设置storage数据文件和日志目录
store_path_count=1 #存储路径个数，需要和store_path个数匹配
store_path0=/home/fastdfs_storage_data #实际文件存储路径
tracker_server=10.250.151.234:22122#tracker 服务器的 IP地址和端口号，如果是单机搭建，IP不要写127.0.0.1，否则启动不成功（此处的ip是我的CentOS虚拟机ip）
http.server_port=7777 #设置 http 端口号
配置完成后同样要为Storage服务器的启动脚本设置软引用：
ln -s /usr/bin/fdfs_storaged /usr/local/bin
接下来就可以启动Storage服务了：
service fdfs_storaged start
命令执行后可以看到以下提示：
同理，如果启动成功，/home/fastdfs_storage中就可以看到启动后新生成的data和logs目录，端口23000也应被正常监听，还有一点就是文件存储路径下会生成多级存储目录，那么接下来看看是否启动成功了：
如上图，可以看到/home/fastdfs_storage/data目录下生成好的pid文件和dat文件，那么再看一下实际文件存储路径下是否有创建好的多级目录呢：
如上图，没有任何问题，data下有256个1级目录，每级目录下又有256个2级子目录，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据直接作为一个本地文件存储到该目录中。那么最后我们再看一下storage服务的端口监听情况：
netstat -unltp|grep fdfs
可以看到tracker服务运行的23000端口正常被监听：
如上图，可以看到此时已经正常监听tracker的22122端口和storage的23000端口，至此storage服务器就已经配置完成，确定了storage服务器启动成功后，还有一项工作就是看看storage服务器是否已经登记到 tracker服务器（也可以理解为tracker与storage是否整合成功），运行以下命令：
/usr/bin/fdfs_monitor/etc/fdfs/storage.conf
打印结果如下：
[[email protected]]# /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
[2018-04-0310:18:07] DEBUG - base_path=/home/fastdfs_storage, connect_timeout=30,network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_keylength=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s,use_storage_id=0, storage server id count: 0
server_count=1,server_index=0
tracker server is10.250.151.234:22122
group count: 1
Group 1:
group name = group1
disk total space =246783 MB
disk free space =228875 MB
trunk free space =0 MB
storage servercount = 1
active server count= 1
storage server port= 23000
storage HTTP port =7777
store path count =1
subdir count perpath = 256
current writeserver index = 0
current trunk fileid = 0
Storage 1:
id = 10.250.151.234
ip_addr =10.250.151.234 (redisserver) ACTIVE
http domain =
version = 5.08
join time =2018-04-03 10:00:17
up time = 2018-04-0310:00:17
total storage =246783 MB
free storage =228875 MB
upload priority = 10
store_path_count = 1
subdir_count_per_path= 256
storage_port = 23000
storage_http_port =7777
current_write_path =0
source storage id =
if_trunk_server = 0
connection.alloc_count= 256
connection.current_count= 0
connection.max_count= 0
total_upload_count =0
success_upload_count= 0
total_append_count =0
success_append_count= 0
total_modify_count =0
success_modify_count= 0
total_truncate_count= 0
success_truncate_count= 0
total_set_meta_count= 0
success_set_meta_count= 0
total_delete_count =0
success_delete_count= 0
total_download_count= 0
success_download_count= 0
total_get_meta_count= 0
success_get_meta_count= 0
total_create_link_count= 0
success_create_link_count= 0
total_delete_link_count= 0
success_delete_link_count= 0
total_upload_bytes =0
success_upload_bytes= 0
total_append_bytes =0
success_append_bytes= 0
total_modify_bytes =0
success_modify_bytes= 0
stotal_download_bytes= 0
success_download_bytes= 0
total_sync_in_bytes= 0
success_sync_in_bytes= 0
total_sync_out_bytes= 0
success_sync_out_bytes= 0
total_file_open_count= 0
success_file_open_count= 0
total_file_read_count= 0
success_file_read_count= 0
total_file_write_count= 0
success_file_write_count= 0
last_heart_beat_time= 2018-04-03 10:17:50
last_source_update =1970-01-01 08:00:00
last_sync_update =1970-01-01 08:00:00
last_synced_timestamp= 1970-01-01 08:00:00
如上所示，看到10.250.151.234 ACTIVE 字样即可说明storage服务器已经成功登记到了tracker服务器，同理别忘了添加开机启动，打开/etc/rc.d/rc.local并将如下配置追加到文件中：
service fdfs_storage start
至此我们就已经完成了fastdfs的全部配置，此时也就可以用客户端工具进行文件上传下载的测试了。
注：如果端口目前还是只监听了一个，storage的23000端口并未被监听，那么我们只能去日志文件中找原因了，进入/home/fastdfs_storage/logs目录下并打开storaged.log文件：
如果有报错，可以看到有一个error的关键信息例如：
ERROR - file: storage_func.c, line: 896,mkdir “/etc/fastdfs_storage_data/data” fail, errno: 2, error info: No such fileor directory
之后再根据关键信息逐步排查即可
5) 初步测试
测试时需要设置客户端的配置文件，编辑/etc/fdfs目录下的client.conf 文件，打开文件后依次做以下修改：
base_path=/home/fastdfs_tracker #tracker服务器文件路径
tracker_server=10.250.151.234:22122#tracker服务器IP地址和端口号
http.tracker_server_port=6666 # tracker 服务器的 http 端口号，必须和tracker的设置对应起来
配置完成后就可以模拟文件上传了，先给/home目录下放一张图片：
然后通过执行客户端上传命令尝试上传：
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/aaa.jpg
运行后可以发现给我们返回了一个路径：
这就表示我们的文件已经上传成功了，当文件存储到某个子目录后，即认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名（由客户端指定，主要用于区分文件类型）拼接而成，如下图：
同时在之前配置的storage服务器的实际文件存储路径中也可以根据返回的路径找到实际文件：
接下来尝试用浏览器发送HTTP请求访问一下文件：
此时发现并不能访问，因为FastDFS目前已不支持http协议，我们在FastDFS 4.0.5的版本更新日志中可以看到这样一条信息：
如上图，4.0.5版本开始移除了自带的HTTP支持（因为之前自带的HTTP服务较为简单，无法提供负载均衡等高性能服务），所以余大提供了nginx上使用FastDFS的模块fastdfs-nginx-module，下载地址如下：https://github.com/happyfish100/fastdfs-nginx-module，这样做最大的好处就是提供了HTTP服务并且解决了group中storage服务器的同步延迟问题，接下来就具体记录一下fastdfs-nginx-module的安装配置过程。
6) fastdfs-nginx-module
fastdfs-nginx-module下载地址：https://download.csdn.net/download/glongljl/10385161
在余大的GitHub上下载好fastdfs-nginx-module上传到我们的CentOS中就可以开始安装了，在安装nginx之前需要先安装一些模块依赖的lib库，我在以前写的文章有做详细介绍（Linux CentOS 7 & Tengine（Nginx）安装与配置：https://blog.csdn.net/wlwlwlwl015/article/details/51222224），直接贴出安装代码：
yum -y install pcre pcre-devel
yum -y install zlib zlib-devel
yum -y install openssl openssl-devel
由于之前在其他项目已安装了nginx，所以这里提示：无须任何处理
依次装好这些依赖之后就可以开始安装nginx了。
7) storage nginx
首先是为storage服务器安装nginx，首先将nginx和fastdfs-nginx-module的安装包上传至CentOS：
首先分别进行解压：
tar -zxvf nginx-1.8.1.tar.gz # nginx已安装过，这里不做演示，入未安装可安下面步骤走
unzip fastdfs-nginx-module-master.zip
解压成功后就可以编译安装nginx了，进入nginx目录并输入以下命令进行配置：
./configure --prefix=/usr/local/nginx--add-module=/usr/local/fastdfs-nginx-module-master/src
配置成功后会看到如下信息：
由于我是采用之前的nginx，所以只需如下：
./configure--prefix=/usr/local/share/applications/nginx-1.13.7 --add-module=/home/glong/fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1/src注：/usr/local/share/applications/nginx-1.13.7是之前nginx安装位置
/home/glong/fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1/src是fastdfs-nginx-module解压的路径
紧接着就可以进行编译安装了，依次执行以下命令：
make
make install
make：
make install：
如果之前安装了nginx，还是需要重新编译的，或者后面启nginx服务时会报unknown directive "ngx_fastdfs_module"错误
安装完成后，我们在我们指定的目录/usr/local/nginx中就可以看到nginx的安装目录了：
接下来要修改一下nginx的配置文件，进入conf目录并打开nginx.conf文件加入以下配置：
#项目库管理
server {
listen 9999;
server_name asascServer;
location ~/group1/M00 {
root /home/fastdfs_storage_data/data;
ngx_fastdfs_module;
}
}
下图是进入之前nginx的配置文件
然后进入FastDFS的安装目录/home/glong/fastdfs-5.08（即fastdfs最初上传和解压的目录）目录下的conf目录，将http.conf和mime.types拷贝到/etc/fdfs目录下：
cp -r /home/glong/fastdfs-5.08/conf/http.conf/etc/fdfs/
cp -r /home/glong/fastdfs-5.08/conf/mime.types/etc/fdfs/
接下来还需要把fastdfs-nginx-module安装目录中src目录下的mod_fastdfs.conf也拷贝到/etc/fdfs目录下：
cp -r/home/glong/fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1/src/mod_fastdfs.conf/etc/fdfs/
看一下/etc/fdfs目录下当前所有的配置文件：
没什么问题，接下来就需要编辑刚拷贝的这个mod_fastdfs.conf文件了，打开mod_fastdfs.conf并按顺序依次编译以下内容：
base_path=/home/fastdfs_storage #保存日志目录
tracker_server=10.250.151.234:22122#tracker服务器的IP地址以及端口号
storage_server_port=23000 #storage服务器的端口号
url_have_group_name = true #文件 url 中是否有 group 名
store_path0=/home/fastdfs_storage_data # 存储路径
group_count = 3 #设置组的个数，事实上这次只使用了group1
设置了group_count = 3，接下来就需要在文件尾部追加这3个group setting：
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs_storage_data
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs_storage_data
[group3]
group_name=group3
storage_server_port=23000
store_path_count=1
store_path0=/home/fastdfs_storage_data
接下来还需要建立 M00 至存储目录的符号连接：
ln -s /home/fastdfs_storage_data/data /home/fastdfs_storage_data/data/M00
最后启动nginx：
/usr/local/nginx/sbin/nginx
显示如下信息说明nginx已启动成功：
通过浏览器也可以看到nginx的主页：
从上图发现显示无法访问，原因是9999端口没有对外放开，执行如下操作
1、查询端口是否被使用 :
netstat -apn | grep 9999
2、开放指定端口 :
sudo firewall-cmd --zone=public--add-port=9999/tcp --permanent
3、重启防火墙服务 :
sudo systemctl restart firewalld.service
再重新访问就可以了
storage服务器的nginx就已经安装完毕，接下来看一下tracker服务器的nginx安装。
8) tracker nginx
同理，再装一个nginx，目录命名为nginx2，安装路径依旧放在/usr/local下，由于和之前一样，此处就不再做详细解释：
mkdir nginx2
cd nginx-1.13.7
./configure--prefix=/usr/local/share/applications/nginx2--add-module=/home/glong/fastdfs-nginx-module-5e5f3566bbfa57418b5506aaefbe107a42c9fcb1/src
make
make install
编译完之后，nginx2文件如下
接下来依然是修改nginx2的配置文件，进入conf目录并打开nginx.conf文件加入以下配置，storage的nginx无需修改listen端口，即默认的80端口，并将upstream指向tracker的nginx地址：
upstream fdfs_group1 {
server 127.0.0.1:9999;
}
location /group1/M00 {
proxy_pass http://fdfs_group1;
}
接下来启动nginx2：
/usr/local/share/applications/nginx2/sbin/nginx
此时访问nginx2的主页，由于没有修改端口，直接访问ip地址即可：
最后一步就是需要修改/etc/fdfs目录下的client.conf文件，打开该文件并加入以下配置（其实在‘5）初步测试’已配好了）：
base_path=/home/fastdfs_storage #日志存放路径
tracker_server=10.250.151.234:22122 #tracker 服务器 IP 地址和端口号
http.tracker_server_port=6666 # tracker 服务器的 http 端口号，必须和tracker的设置对应起来
至此关于fastdfs就已经全部配置完毕了，再一次进行测试看看是否能正常上传文件并通过http访问文件。
HTTP测试
再给/home目录下上传一张图片：
通过客户端命令测试上传：
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /home/bbb.jpg
如上图，依旧上传成功，接下来的关键就是通过HTTP测试文件访问，打开浏览器输入ip地址+文件名看看是否能正常访问该图片：
http://10.250.151.234/group1/M00/00/00/CvqX6lrDLXiAQtQcAADiPTzLXEE031.jpg
一切正常~ 至此关于FastDFS在CentOS 7下的部署测试就已经全部完成了。
5. 错误
1) 1、nginx执行make时，报fdfs_define.h：没有那个文件或目录错误
原因是fastdfs-nginx-module-master版本不对，跟换fastdfs-nginx-module版本即可
参考：https://www.linuxidc.com/Linux/2016-09/135537.htm