FastDFS分布式文件系统 入门

分布式文件系统简介

分布式文件系统是指能够将用户上传的不少不少文件保存在多台计算机上，主要解决单台服务器硬盘容量不够用问题，而且可以作到数据传输的负载均衡、以及数据存储的主从备份。流行的开源分布式文件系统有不少，介绍以下：

mogileFS：Key-Value型元文件系统，不支持FUSE，应用程序访问它时须要API，主要用在web领域处理海量小图片，效率相比mooseFS高不少。

fastDFS：国人在mogileFS的基础上进行改进的key-value型文件系统，一样不支持FUSE，提供比mogileFS更好的性能。

mooseFS：支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多

glusterFS：支持FUSE，比mooseFS庞大

ceph：支持FUSE，客户端已经进入了linux-2.6.34内核，也就是说能够像ext3/rasierFS同样，选择ceph为文件系统。完全的分布式，没有单点依赖，用C编写，性能较好。基于不成 熟的btrfs，其自己也很是不成熟。

lustre：Oracle公司的企业级产品，很是庞大，对内核和ext3深度依赖

NFS：老牌网络文件系统，最近好几年没发展，废了。

FastDFS是由淘宝的余庆先生所开发，是一个轻量级、高性能的开源分布式文件系统，用纯C语言开发，包括文件存储、文件同步、文件访问（上传、下载）、存取负载均衡、在线扩容、相同内容只存储一份等功能，适合有大容量存储需求的应用或系统。作分布式系统开发时，其中要解决的一个问题就是图片、音视频、文件共享的问题，分布式文件系统正好能够解决这个需求。同类的分布式文件系统有谷歌的GFS、HDFS（Hadoop）、TFS（淘宝）等。

FastDFS两个主要的角色：Tracker Server 和 Storage Server
Tracker Server：跟踪服务器，主要负责调度storage节点与client通讯，在访问上起负载均衡的做用，和记录storage节点的运行状态，是链接client和storage节点的枢纽。
Storage Server：存储服务器，保存文件和文件的meta data（元数据）
Group：文件组，也能够称为卷。同组内服务器上的文件是彻底相同的，作集群时每每一个组会有多台服务器，上传一个文件到同组内的一台机器上后，FastDFS会将该文件即时同步到同组内的其它全部机器上，起到备份的做用。
meta data：文件相关属性，键值对（Key Value Pair）方式，如：width=1024, height=768。和阿里云OSS的meta data类似。

2、安装FastDFS单节点

2.1 安装gcc
[Shell] 纯文本查看 复制代码
?
1
2
3
4
5
6
7
yum -y install gcc[/align]
[align=center]#后面会用到解压命令（unzip），因此这里能够用yum把unzip 也装一下[/align]

[align=center]yum install -y unzip zip[/align]

[align=center]#还有后面还要安装nginx的依赖库:[/align]
[align=center]yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel

2.2 安装libevent

[Shell] 纯文本查看 复制代码
?
1
2
3

注意：libevent CentOS自带的有，无需安装。[/align]

[align=center]yum -y install libevent

2.3 安装libfastcommon-master

[AppleScript] 纯文本查看 复制代码
?
1
2
3
4
unzip libfastcommon-master.zip[/align]
[align=center]cd libfastcommon-master[/align]
[align=center]./make.sh [/align]
[align=center]./make.sh install

2.4 安装fastdfs-master
[Shell] 纯文本查看 复制代码
?
1
2
3
4
unzip fastdfs-master-V5.05.zip[/align]
[align=center]cd fastdfs-master[/align]
[align=center]./make.sh [/align]
[align=center]./make.sh install

3、配置并启动FastDFS

3.1 配置tracker服务器

[Shell] 纯文本查看 复制代码
?
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf[/align]

[align=center]vi /etc/fdfs/tracker.conf [/align]
[align=center]# 修改的内容以下： [/align]
[align=center]disabled=false # 启用配置文件 [/align]
[align=center]port=22122 # tracker服务器端口（默认22122） [/align]
[align=center]base_path=/fastdfs/tracker # 存储日志和数据的根目录[/align]

[align=center]# ln -s /usr/bin/fdfs_trackerd /usr/local/bin[/align]
[align=center]# ln -s /usr/bin/stop.sh /usr/local/bin[/align]
[align=center]# ln -s /usr/bin/restart.sh /usr/local/bin[/align]

[align=center]#新建目录： [/align]
[align=center]/fastdfs/tracker[/align]

[align=center]#关闭防火墙： [/align]
[align=center]chkconfig iptables off[/align]

[align=center]#启动tracker服务器: [/align]
[align=center]/etc/init.d/fdfs_trackerd start[/align]
[align=center]#中止tracker服务器: [/align]
[align=center]/etc/init.d/fdfs_trackerd stop[/align]

[align=center]#检查FastDFS Tracker Server是否启动成功：[/align]
[align=center]ps -ef | grep fdfs_trackerd [/align]

[align=center]#设置tracker服务开机启动:[/align]
[align=center]chkconfig fdfs_trackerd on

3.2 配置storage服务器

[Shell] 纯文本查看 复制代码
?
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf

vi /etc/fdfs/storage.conf

修改的内容以下:

disabled=false # 启用配置文件
port=23000 # storage服务端口
base_path=/fastdfs/storage # 数据和日志文件存储根目录
store_path0=/fastdfs/storage # 第一个存储目录
tracker_server=192.168.56.101:22122 # tracker服务器IP和端口
http.server_port=8888 # http访问文件的端口

ln -s /usr/bin/fdfs_storaged /usr/local/bin

新建目录： /fastdfs/storage

关闭防火墙：

chkconfig iptables off

启动storage服务器：

/etc/init.d/fdfs_storaged start

中止storage服务器：

/etc/init.d/fdfs_storaged stop

检查FastDFS Tracker Server是否启动成功：

ps -ef | grep fdfs_storaged

设置storage服务开机启动：

chkconfig fdfs_storaged on

4、测试FastDFS

4.1 配置Tracker客户端
[Shell] 纯文本查看 复制代码
?
1
2
3
4
5
6
7
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf[/align]

[align=center]vi /etc/fdfs/client.conf[/align]

[align=center]# 修改如下配置，其它保持默认 [/align]
[align=center]base_path=/fastdfs/tracker [/align]
[align=center]tracker_server=192.168.56.101:22122

4.2 执行客户端上传命令

[AppleScript] 纯文本查看 复制代码
?
1
2
3
4
5
/usr/bin/fdfs_upload_file [/align]
[align=center]/etc/fdfs/client.conf [/align]
[align=center]/usr/local/mao/cs.jpg [/align]
[align=center]group1/M00/00/00/wKg4ZVh8U-SANp6OAAHhOIDwENQ234.jpg[/align]
[align=center]# 能返回以上文件ID，说明文件已经上传成功

5、使用nginx访问FastDFS

5.1 在全部storage节点安装fastdfs-nginx-module
[Shell] 纯文本查看 复制代码
?
1
unzip fastdfs-nginx-module-master.zip

5.2 安装Nginx
[Shell] 纯文本查看 复制代码
?
01
02
03
04
05
06
07
08
09
10
tar -zxvf nginx-1.10.0.tar.gz[/align]

[align=center]# 执行下面的命令安装nginx的依赖库（前面已经装过了）:[/align]
[align=center]yum -y install gcc pcre pcre-devel zlib zlib-devel openssl openssl-devel[/align]

[align=center]# 注意：在执行./configure配置nginx参数的时候，须要将fastdfs-nginx-moudle源码做为模块编译进去：[/align]
[align=center]./configure --prefix=/opt/nginx --sbin-path=/usr/bin/nginx --add-module=/usr/fds/fastdfs-nginx-module/src[/align]

[align=center]# 编译并安装:[/align]
[align=center]make && make install

[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:445: 错误：‘false’未声明(在此函数内第一次使用)
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c: 在函数‘ngx_http_fastdfs_handler’中:
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:882: 错误：‘struct fdfs_http_context’没有名为‘arg’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:883: 错误：‘struct fdfs_http_context’没有名为‘header_only’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:884: 错误：‘struct fdfs_http_context’没有名为‘url’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:885: 错误：‘struct fdfs_http_context’没有名为‘output_headers’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:886: 错误：‘struct fdfs_http_context’没有名为‘send_file’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:887: 错误：‘struct fdfs_http_context’没有名为‘send_reply_chunk’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:887: 错误：‘fdfs_send_reply_chunk’未声明(在此函数内第一次使用)
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:888: 错误：‘struct fdfs_http_context’没有名为‘proxy_handler’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:894: 错误：‘struct fdfs_http_context’没有名为‘if_modified_since’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:897: 错误：‘struct fdfs_http_context’没有名为‘if_modified_since’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:927: 错误：‘struct fdfs_http_context’没有名为‘range’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:933: 错误：‘struct fdfs_http_context’没有名为‘if_range’的成员
[size=12.0000pt]/usr/fds/fastdfs-nginx-module/src/ngx_http_fastdfs_module.c:933: 错误：‘true’未声明(在此函数内第一次使用)

[size=12.0000pt]make: * [build] 错误 2

[size=12.0000pt]

[Shell] 纯文本查看 复制代码
?
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

解决办法：[/align]

[align=center]# 执行如下2条命令，而后从新make[/align]
[align=center]# ln -sv /usr/include/fastcommon /usr/local/include/fastcommon[/align]
[align=center]# ln -sv /usr/include/fastdfs /usr/local/include/fastdfs[/align]

[align=center]启动、中止、重启[/align]
[align=center]# 1.启动nginx[/align]
[align=center]nginx [/align]

[align=center]# 可经过ps -ef | grep nginx查看nginx是否已启动成功 [/align]

[align=center]# 2.中止nginx[/align]
[align=center]nginx -s stop[/align]

[align=center]# 3. 从新启动[/align]
[align=center]nginx -s reload[/align]

[align=center]#配置nginx开机启动[/align]
[align=center]#将/usr/bin/nginx命令添加到/etc/rc.d/rc.local文件中，rc.local文件会在系统启动的时候执行。但若是是CentOS7则建议将开机启动服务写成服务描述文件添加到系统服务中，因此rc.local默认没有执行权限，须要给它添加执行权限。[/align]
[align=center]shell> vi /etc/rc.d/rc.local[/align]
[align=center]# 添加以下参数[/align]
[align=center]/usr/bin/nginx[/align]

[align=center]chmod +x /etc/rc.d/rc.local

5.3 配置nginx与FastDFS关联配置文件

[Shell] 纯文本查看 复制代码
?
01
02
03
04
05
06
07
08
09
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27

复制 fastdfs-nginx-module 源码中的配置文件到/etc/fdfs 目录， 并修改[/align]

[align=center]cp /usr/local/mao/fastdfs-nginx-module-master/src/mod_fastdfs.conf /etc/fdfs/[/align]
[align=center]vi /etc/fdfs/mod_fastdfs.conf[/align]

[align=center]# 修改如下配置：[/align]
[align=center]connect_timeout=10 # 客户端访问文件链接超时时长（单位：秒）[/align]
[align=center]base_path=/tmp # 临时目录[/align]
[align=center]tracker_server=192.168.56.101:22122 # tracker服务IP和端口[/align]
[align=center]storage_server_port=23000 # storage服务端口[/align]
[align=center]group_name=group1 # 组名[/align]
[align=center]url_have_group_name=true # 访问连接前缀加上组名[/align]
[align=center]store_path0=/fastdfs/storage # 文件存储路径[/align]

[align=center]# 复制 FastDFS 的部分配置文件到/etc/fdfs 目录[/align]

[align=center]cd /usr/local/mao/fastdfs-master/conf/[/align]
[align=center]cp http.conf mime.types /etc/fdfs/[/align]

[align=center]# 在/fastdfs/storage文件存储目录下建立软链接，将其连接到实际存放数据的目录[/align]
[align=center]ln -s /fastdfs/storage/data/ /fastdfs/storage/data/M00[/align]

[align=center]# 配置nginx访问storage文件[/align]

[align=center]vi /opt/nginx/conf/nginx.conf

user nobody;
worker_processes 1;
events {

worker_connections 1024;

}
http {

include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
    listen 8888;
    server_name localhost;
    location ~/group([0-9])/M00 {
        ngx_fastdfs_module;
    }
    error_page 500 502 503 504 /50x.html;
    location = /50x.html {
        root html;
    }
}

}

6、启动测试

[Shell] 纯文本查看 复制代码
?
1
2
3
4
5
6
7
8
nginx -s reload

启动nginx后，若是打印出ngx_http_fastdfs_set pid=xxx，表示fastdfs-nginx-module模块加载成功了，xxx表示模块的进程ID。

若是报：

nginx: [error] open() "/opt/nginx/logs/nginx.pid" failed (2: No such file or directory)

则执行：

nginx -c /opt/nginx/conf/nginx.conf