CentOS 6.5 下搭建FastDFS服务

参考网站：

http://www.open-open.com/lib/view/open1435468300700.html

http://blog.csdn.net/lynnlovemin/article/details/39398043

http://soartju.iteye.com/blog/803477

http://soartju.iteye.com/blog/803524

http://soartju.iteye.com/blog/803548

http://blog.csdn.net/poechant/article/details/6977407

Tracker 192.168.42.2

Group1-Storage1 192.168.42.3

Group1-Storage1 192.168.42.4

Group2 ……

Group2 ……

Group3 ……

Group3 ……

本文只配置了一组Storage，如需配置多组，请参考Group1的配置便可。

1         FastDFS简介

FastDFS是一款开源的、分布式文件系统（Distributed File System），由淘宝开发平台部资深架构师余庆开发。该开源项目的主页是http://code.google.com/p/fastdfs。能够经过fastdfs.sourceforge.net下载。FastDFS论坛是http://www.csource.org，目前是指向 ChinaUnix 开源项目孵化平台的一个板块 FastDFS，网址为 bbs.chinaunix.net/forum-240-1.html。

1.1         FastDFS介绍

FastDFS是一个开源的分布式文件系统，她对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要作调度工做，在访问上起负载均衡的做用。
存储节点存储文件，完成文件管理的全部功能：存储、同步和提供存取接口，FastDFS同时对文件的meta data进行管理。所谓文件的meta
data就是文件的相关属性，以键值对（key value pair）方式表示，如：width=1024，其中的key为width，value为1024。文件meta
data是文件属性列表，能够包含多个键值对。

1.2         FastDFS系统结构

跟踪器和存储节点均可以由一台多台服务器构成。跟踪器和存储节点中的服务器都可以随时增长或下线而不会影响线上服务。其中跟踪器中的全部服务器都是对等的，能够根据服务器的压力状况随时增长或减小

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，全部卷 的文件容量累加就是整个存储系统中的文件容量。一个卷能够由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的做用

在卷中增长服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。

当存储空间不足或即将耗尽时，能够动态添加卷。只须要增长一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS中的文件标识分为两个部分：卷名和文件名，两者缺一不可。

上传文件交互过程:

1. client询问tracker上传到的storage，不须要附加参数；

2. tracker返回一台可用的storage；

3. client直接和storage通信完成文件上传。

下载文件交互过程：

1.client询问tracker下载文件的storage，参数为文件标识（卷名和文件名）；

2. tracker返回一台可用的storage；

3. client直接和storage通信完成文件下载。须要说明的是，client为使用FastDFS服务的调用方，client也应该是一台服务器，它对tracker和storage的调用均为服务器间的调用。

2         安装配置FastDFS

下载FastDFS安装包：

FastDFS官方论坛：http://www.csource.org

下载1：http://sourceforge.net/projects/fastdfs/files/

下载2：https://code.google.com/p/fastdfs/downloads/list

本手册使用CentOS 6.5 x86_64版操做系统，按照如下网络结构进行部署：

所须要下载的压缩包有：

FastDFS源代码：FastDFS_4.06.tar.gz

咱们搭建完的分布式环境，还须要nginx帮忙实现http访问以及负载均衡、缓存等功能，涉及的压缩包以下：

nginx模块源代码：fastdfs-nginx-module_v1.15.tar.gz

nginx服务器源代码：nginx-1.2.8.tar.gz

nginx cache purge插件源代码：ngx_cache_purge-2.3.tar.gz

nginx依赖的pcre库源代码：pcre-8.21.tar.gz

nginx依赖的zlib库源代码：zlib-1.2.8.tar.gz

nginx依赖的ssl库源代码：openssl-1.0.1c.tar.gz

将上述安装包拷贝到/usr/local目录下

2.1         安装FastDFS（All服务器）

cd /usr/local/

tar -zxvf FastDFS_4.06.tar.gz

cd FastDFS

./make.sh

./make.sh install

过程当中若是没有报错，则安装完成后，全部可执行文件在/usr/local/bin下，以fdfs开头

cd /usr/local/bin/

ls

event_rpcgen.py      fdfs_append_file  fdfs_download_file  fdfs_storaged  fdfs_trackerd         pcre-config  restart.sh

fdfs_appender_test   fdfs_crc32        fdfs_file_info      fdfs_test      fdfs_upload_appender  pcregrep     stop.sh

fdfs_appender_test1  fdfs_delete_file  fdfs_monitor        fdfs_test1     fdfs_upload_file      pcretest

全部配置文件在/etc/fdfs下

cd /etc/fdfs/

ls

client.conf  http.conf  mime.types  storage.conf  tracker.conf

至此FastDFS安装完成。

2.2         配置tracker（192.168.42.2）

编辑配置文件下的tracker.conf，设置相关信息并保存。

改动如下几个参数便可：

[root@xldwhj ~]# vim /etc/fdfs/tracker.conf

disabled=false                   #启用配置文件

port=22122                     #设置tracker的端口号

base_path=/opt/fastdfs_tracker      #设置tracker的数据文件和日志目录（需预先建立）

http.server_port=8080            #设置http端口号

2.3         运行tracker（192.168.42.2）

运行tracker以前，先要把防火墙中对应的fd端口打开（本例中为22122）。

[root@xldwhj ~]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 22122 -j ACCEPT

[root@xldwhj ~]# /etc/init.d/iptables save

而后执行以下命令:

[root@xldwhj ~]# /usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

确认启动是否成功。（查看是否对应端口22122是否开始监听）

[root@xldwhj ~]# netstat -unltp | grep fdfs

tcp        0      0 0.0.0.0:22122               0.0.0.0:*                   LISTEN      3842/fdfs_trackerd

或者是查看tracker的日志是否启动成功或是否有错误。

[root@xldwhj ~]# cat /fdfs/tracker/logs/trackerd.log

设为开机启动：

[root@xldwhj ~]# vim /etc/rc.d/rc.local

将运行命令行添加进文件：/usr/local/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

2.4         配置storage（192.168.42.3）

以192.168.42.3服务器为例

[root@xldroot ~]# vim /etc/fdfs/storage.conf

改动如下几个参数便可：

disabled=false                      #启用配置文件

group_name=group1                #组名，根据实际状况修改

port=23000                        #设置storage的端口号

base_path=/opt/fastdfs_storage_info    #设置storage的日志目录（需预先建立）

store_path_count=1                  #存储路径个数，须要和store_path个数匹配

store_path0=/opt/fastdfs_storage_data   #存储路径（需预先建立）

tracker_server=192.168.42.2:22122     #tracker服务器的IP地址和端口号

http.server_port=8080               #设置http端口号

2.5         运行storage（192.168.42.3）

运行storage以前，先要把防火墙中对应的fd端口打开（本例中为23000）。

[root@xldroot ~]# iptables -I INPUT -p tcp -m state --state NEW -m tcp --dport 23000 -j ACCEPT

[root@xldroot ~]# /etc/init.d/iptables save

[root@xldroot ~]# /usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf restart

启动storage，会根据配置文件的设置自动建立多级存储目录

 

[root@xldroot ~]# netstat -unltp | grep fdfs

tcp        0      0 0.0.0.0:23000               0.0.0.0:*                   LISTEN      2315/fdfs_storaged 

确认启动成功后，能够运行fdfs_monitor查看storage服务器是否已经登记到tracker服务器。

[root@xldroot ~]# /usr/local/bin/fdfs_monitor /etc/fdfs/storage.conf

[2016-08-11 14:59:54] DEBUG - base_path=/opt/fastdfs_storage_info, connect_timeout=30, network_timeout=60, tracker_server_count=1, anti_steal_token=0, anti_steal_secret_key length=0, use_connection_pool=0, g_connection_pool_max_idle_time=3600s, use_storage_id=0, storage server id count: 0

 

server_count=1, server_index=0

 

tracker server is 192.168.42.2:22122

 

group count: 1

 

Group 1:

group name = group1

disk total space = 19685 MB

disk free space = 16150 MB

trunk free space = 0 MB

storage server count = 2

active server count = 2

storage server port = 23000

storage HTTP port = 8888

store path count = 1

subdir count per path = 256

current write server index = 1

current trunk file id = 0

 

       Storage 1:

              id = 192.168.42.3

              ip_addr = 192.168.42.3 (xldroot)  ACTIVE

              http domain =

              version = 4.06

              join time = 2016-08-10 11:42:36

              up time = 2016-08-11 09:11:59

              total storage = 19685 MB

              free storage = 16150 MB

              upload priority = 10

              store_path_count = 1

              subdir_count_per_path = 256

              storage_port = 23000

              storage_http_port = 8080

              current_write_path = 0

              source storage id=

              if_trunk_server= 0

              total_upload_count = 1

              success_upload_count = 1

              total_append_count = 0

              success_append_count = 0

              total_modify_count = 0

              success_modify_count = 0

              total_truncate_count = 0

              success_truncate_count = 0

              total_set_meta_count = 0

              success_set_meta_count = 0

              total_delete_count = 0

              success_delete_count = 0

              total_download_count = 0

              success_download_count = 0

              total_get_meta_count = 0

              success_get_meta_count = 0

              total_create_link_count = 0

              success_create_link_count = 0

              total_delete_link_count = 0

              success_delete_link_count = 0

              total_upload_bytes = 33

              success_upload_bytes = 33

              total_append_bytes = 0

              success_append_bytes = 0

              total_modify_bytes = 0

              success_modify_bytes = 0

              stotal_download_bytes = 0

              success_download_bytes = 0

              total_sync_in_bytes = 0

              success_sync_in_bytes = 0

              total_sync_out_bytes = 33

              success_sync_out_bytes = 33

              total_file_open_count = 2

              success_file_open_count = 2

              total_file_read_count = 0

              success_file_read_count = 0

              total_file_write_count = 2

              success_file_write_count = 2

              last_heart_beat_time = 2016-08-11 14:59:51

              last_source_update = 2016-08-11 11:45:27

              last_sync_update = 2016-08-10 20:18:53

              last_synced_timestamp = 1970-01-01 08:00:00 (never synced)

看到192.168.42.3 ACTIVE便可确认storage运行正常。

设置开机启动

[root@xldroot ~]# vim /etc/rc.d/rc.local

将运行命令行添加进文件：/usr/local/bin/fdfs_storaged /etc/fdfs/storage.conf restart

以后依次在192.168.42.4上安装上storage并确认运行正常。注意配置文件中group名参数须要根据实际状况调整，本例中group是这样分配的：

group1：192.168.42.3，192.168.42.4

group2：……本文未设置

group3：……本文未设置

另外每一个group中全部storage的端口号必须一致。

3         安装配置Nginx

storage中安装nginx，主要是为了为提供http的访问服务，同时解决group中storage服务器的同步延迟问题。而tracker中安装nginx，主要是为了提供http访问的反向代理、负载均衡以及缓存服务。

3.1         storage上安装nginx

以192.168.42.3服务器为例

提早将安装nginx所需的依赖包解压安装:

nginx依赖的pcre库源代码：pcre-8.21.tar.gz

nginx依赖的zlib库源代码：zlib-1.2.8.tar.gz

nginx依赖的ssl库源代码：openssl-1.0.1c.tar.gz

安装详见《CentOS 6.5 下Nginx服务的安装和配置》

将 nginx1.2.8.tar.gz 和fastdfs-nginx-module_v1.15.tar.gz 解压缩，而后进入nginx1.2.8的文件夹目录，执行以下命令:

[root@xldroot ~]# ./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.21

--with-zlib=/usr/local/zlib-1.2.8 --add-module=/usr/local/fastdfs-nginx-module/src

[root@xldroot ~]# make

[root@xldroot ~]# make install

将FastDFS的nginx插件模块的配置文件copy到FastDFS配置文件目录

[root@xldroot ~]# cp /usr/local/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/

至此nginx以及FastDFS的nginx插件模块安装完成。

3.2         storage上配置nginx

编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置添加storage信息并保存。

将server段中的listen端口号改成8080：

Listen   8080;

在server段中添加：

location~/group[1-3]/M00{//根据状况填写，属于group1此处就写group1

root /opt/fastdfs_storage_data/data;

    ngx_fastdfs_module;

}

 

编辑/etc/fdfs配置文件目录下的mod_fastdfs.conf，设置storage信息并保存。

base_path=/opt/fastdfs_storage_info #保存日志目录

tracker_server=192.168.42.2:22122#tracker服务器的IP地址以及端口号

storage_server_port=23000      #storage服务器的端口号

group_name=group1           #当前服务器的group名

url_have_group_name= true     #文件url中是否有group名

store_path_count=1          #存储路径个数，须要和store_path个数匹配

store_path0=/opt/fastdfs_storage_data   #存储路径

http.need_find_content_type=true    #从文件扩展名查找文件类型（nginx时为true）

group_count= 1          #设置组的个数，本文为1个组

在末尾增长组的具体信息：

[group1]

group_name=group1

storage_server_port=23000

store_path_count=1

store_path0=/opt/fastdfs_storage_data

若有group2，3等，应接着增长组的信息

创建M00至存储目录的符号链接。

[root@xldroot ~]# ln -s /opt/fastdfs_storage_data /opt/fastdfs_storage_data/M00

3.3         storage上运行nginx

运行nginx以前，先要把防火墙中对应的端口打开（本例中为8080）。

运行命令：

[root@xldroot ~]# /usr/local/nginx/sbin/nginx

[root@xldroot ~]#  netstat -unltp | grep nginx

tcp        0      0 0.0.0.0:8080                0.0.0.0:*                   LISTEN      1969/nginx

在浏览器中输入192.168.42.3：8080若是出现nginx欢迎界面则说明配置成功。

3.4         tracker上安装nginx

在tracker上安装的nginx主要为了提供http访问的反向代理、负载均衡以及缓存服务。

提早将 nginx1.2.8.tar.gz、fastdfs-nginx-module_v1.15.tar.gz、ngx_cache_purge-2.3.tar.gz解压缩，而后进入nginx1.2.8的文件夹目录，执行以下命令:

[root@xldwhjt ~]# ./configure --prefix=/usr/local/nginx --with-pcre=/usr/local/pcre-8.21

--with-zlib=/usr/local/zlib-1.2.8 --add-module=/usr/local/fastdfs-nginx-module/src

--add-module=/usr/local/ngx_cache_purge-2.3

若是提示错误，可能缺乏依赖的软件包，需先安装依赖包，再次运行./configure

 

安装完后在/usr/local/nginx下多出四个目录，分别是fastcgi_temp，proxy_temp，scgi_temp和uwsgi_temp。
proxy_temp这个目录用于存储临时文件，须要看下是否有权限写入，若是不可写，没法在这个目录生成文件的话，会致使反向代理失败。也能够在nginx的配置里设置proxy_temp_path指定已存在的存储临时文件的目录。

 

[root@xldwhjt ~]# make

[root@xldwhjt ~]# make install

至此nginx以及nginx cachepurge插件模块安装完成。

3.5         tracker上配置nginx

编辑/usr/local/nginx/conf配置文件目录下的nginx.conf，设置负载均衡以及缓存。

worker_processes  4;       #根据CPU核心数而定

events{

worker_connections 65535;   #最大连接数

use epoll;        新版本的Linux可以使用epoll加快处理性能

}

http{

#设置缓存参数

server_names_hash_bucket_size 128;

client_header_buffer_size32k;

large_client_header_buffers 4 32k;

client_max_body_size300m;

sendfile    on;

tcp_nopushon;

proxy_redirectoff;

proxy_set_headerHost $http_host;

proxy_set_headerX-Real-IP $remote_addr;

proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for;

proxy_connect_timeout 90;

proxy_send_timeout 90;

proxy_read_timeout 90;

proxy_buffer_size16k;

proxy_buffers 4 64k;

proxy_busy_buffers_size128k;

proxy_temp_file_write_size128k;

#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限

#proxy_cache_path /opt/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g inactive=30d;

#proxy_temp_path /opt/cache/nginx/proxy_cache/tmp;

proxy_temp_path /usr/local/nginx/proxy_temp;

proxy_cache_path /usr/local/nginx/proxy_cache levels=1:2 keys_zone=http-cache:500m max_size=10g inactive=30d;

#设置group1的服务器

upstreamfdfs_group1 {

server192.168.42.3:8080 weight=1 max_fails=2 fail_timeout=30s;

server192.168.42.4:8080 weight=1 max_fails=2 fail_timeout=30s;

}

#设置group2的服务器

#设置group3的服务器

#设置group4的服务器

server{

#设置服务器端口

Listen    8080;

#设置group1的负载均衡参数

location/group1/M00 {

proxy_next_upstream http_502http_504 error timeout invalid_header;

proxy_cachehttp-cache;

proxy_cache_valid  200 304 12h;

proxy_cache_key $uri$is_args$args;

proxy_pass http://fdfs_group1;

expires30d;

}

#设置group2的负载均衡参数

#设置group3的负载均衡参数

#设置group4的负载均衡参数

至此，nginx以及nginx cachepurge插件模块设置完成。

 

proxy_temp_path ： 缓存临时目录。后端的响应并不直接返回客户端，而是先写到一个临时文件中，而后被rename一下当作缓存放在 proxy_cache_path 。0.8.9版本之后容许temp和cache两个目录在不一样文件系统上（分区），然而为了减小性能损失仍是建议把它们设成一个文件系统上。

proxy_cache_path ... ： 设置缓存目录，目录里的文件名是 cache_key 的MD5值。

levels=1:2 keys_zone= http-cache:500m表示采用2级目录结构，Web缓存区名称为http-cache，内存缓存空间大小为500MB，这个缓冲zone能够被屡次使用。文件系统上看到的缓存文件名相似于 /usr/local/nginx/proxy_cache/c/29/b7f54b2df7773722d382f4809d65029c 。

inactive=10d max_size=30g表示10天没有被访问的内容自动清除，硬盘最大缓存空间为30GB，超过这个大学将清除最近最少使用的数据。

 

proxy_cache ： 引用前面定义的缓存区 http-cache

 

proxy_cache_key ： 定义cache_key

proxy_cache_valid ： 为不一样的响应状态码设置不一样的缓存时间，好比200、302等正常结果能够缓存的时间长点，而40四、500等缓存时间设置短一些，这个时间到了文件就会过时，而不管是否刚被访问过。

expires ： 在响应头里设置Expires:或Cache-Control:max-age，返回给客户端的浏览器缓存失效时间。

3.6         tracker上运行nginx

首先关闭防火墙，或设置防火墙开启端口。

[root@xldwhj ~]# /usr/local/nginx/sbin/nginx

[root@xldwhj ~]#  netstat -unltp | grep nginx

tcp        0      0 0.0.0.0:8080                0.0.0.0:*                   LISTEN      4388/nginx

尝试上传一个文件到FastDFS，而后访问试试。先配置client.conf文件。

[root@xldwhj ~]# vim /etc/fdfs/client.conf

修改如下参数：

base_path=/opt/fastdfs_tracker      #日志存放路径

tracker_server=192.168.42.2:22122    #tracker服务器IP地址和端口号

http.tracker_server_port=8080    #tracker服务器的http端口号

4         简单测试

使用/usr/local/bin/fdfs_upload_file上传一个文件，程序会自动返回文件的URL

[root@xldwhj ~]# vim /mnt/111.txt

eaefafafafwafs

dwafawaf

fawfawwf

[root@xldwhj ~]# /usr/local/bin/fdfs_upload_file /etc/fdfs/client.conf /mnt/111.txt

group1/M00/00/00/wKgqBFesLVmAVkiAAAAAIW5_3_Y488.txt

使用浏览器访问：

输入：192.168.42.3：8080/ group1/M00/00/00/wKgqBFesLVmAVkiAAAAAIW5_3_Y488.txt

以下图所示：

 

查看nginx的cache目录，能够看到已经生成了缓存文件

[root@xldwhj ~]# ll /opt/cache/nginx/proxy_cache/ -R

/opt/cache/nginx/proxy_cache/:

total 4

drwx------ 2 nobody root 4096 Aug 10 17:07 tmp

 

/opt/cache/nginx/proxy_cache/tmp:

total 0

设置开机启动

若是要手动清除缓存，能够在文件URL以前加上purge：

至此，tracker服务器上的http反向代理+负载均衡+缓存已经安装完成。