从入门到精通(分布式文件系统架构)-FastDFS，FastDFS-Nginx整合，合并存储，存储缩略图，图片压缩，Java客户端

时间 2020-05-07

标签入门精通分布式文件系统架构 fastdfs nginx 整合合并存储缩略图片压缩 java 客户端栏目系统架构繁體版

原文原文链接

导读

　　篇幅较长，干货满满，需花费较长时间，转载请注明出处！html

互联网环境中的文件如何存储？

不能存本地应用服务器
NFS(采用mount挂载)
HDFS(适合大文件)
FastDFS(强力推荐👍)
云存储(有免费和收费的，不推荐，使用前能够看该公司实力怎么样，别文件都存上去了，过2年公司破产了，损失惨重呀，呜呜呜~~~)

互联网环境中的文件如何进行HTTP访问？

Web服务器：Nginx(本案例使用Nginx，还不会用Nginx的小伙伴，请看我另外一篇博客：点我直达)、Apache等等。java

FastDFS介绍

FastDFS是什么？

FastDFS是一个C编写的开源的高性能分布式文件系统(Distributed File System，简称DFS)
它由淘宝开发平台部资深架构师余庆开发,论坛：http://bbs.chinaunix.net/forum-240-1.html
它对文件进行管理，功能包括：文件存储、文件同步、文件访问(文件上传、文件下载)等，解决了大容量存储和负载均衡的问题
特别适合以文件为载体的在线服务，如相册网站、视频网站、电商等等。特别适合以中小文件(建议范围：4KB<file_size<500mb)为载体的在线服务
FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务
github：https://github.com/happyfish100/fastdfs

技术文档node

连接: https://pan.baidu.com/s/1BpPwJBg2mR8CvqOiKj2rDQ  密码: ocj5

流程图

　　实际比这复杂的多linux

FastDFS架构原理分析(重点)

架构分析

　　FastDFS系统有三个角色：跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)。nginx

Tracker Server：跟踪服务器

主要作调度工做，并对Storage Server起到负载均衡的做用
负责管理全部的Storage Server和group，每一个storage在启动后链接Tracker，告知本身所属group等信息，并保存周期性心跳。
Tracker Server能够有多台，Tracker Server之间是相互平等关系同时提供服务，Tracker Server不存在单点故障。客户端请求Tracker Server采用轮询方式，若是请求的Tracker没法提供服务则换另外一个Tracker。

Storage Server：存储服务器

主要提供容量和备份服务
以group为单位，不一样group之间互相独立，每一个group内能够有多台storage server，数据互为备份。
采用分组存储方式的好处是灵活，可控性强，好比上传文件时，能够由客户端直接指定上传到的组也能够由Tracker进行调度选择。
一个分组的存储服务器的访问压力较大时，能够在该组增长存储服务器来扩充服务能力（纵向扩容）。当系统容量不足时，能够增长组来扩充存储容量(横向扩容)。

Client：客户端

上传下载数据的服务器，也就是咱们本身的项目所部署在的服务器

存储策略

　　为了支持大容量，存储节点(服务器)采用分卷(或分组)的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，全部卷的文件容量累加就是整个存储系统中的文件容量。一个卷能够由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的做用。c++

　　在卷中增长服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，能够动态加载卷，只须要增长一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。git

Storage状态收集

　　Storage Server会经过配置链接集群中全部的Tracker Server，定时向他们报告本身的状态，包括磁盘剩余空间、文件上传下载次数等统计信息。github

Storage Server有7个状态，以下正则表达式

FDFS_STORAGE_STATUS_INIT ->初始化，还没有获得同步已有数据的源服务器
FDFS_STORAGE_STATUS_WAIT_SYNC ->等待同步，已获得同步已有数据的源服务器
FDFS_STORAGE_STATUS_SYNCING ->同步中
FDFS_STORAGE_STATUS_DELETED ->已删除，该服务器从本组中摘除
FDFS_STORAGE_STATUS_OFFLINE ->离线
FDFS_STORAGE_STATUS_ONLINE ->在线，尚不能提供服务
FDFS_STORAGE_STATUS_ACTIVE ->在线，能够提供服务

文件上传流程分析

流程说明

一、Tracker Server收集Storage Server的状态信息算法

　　1.一、Storage Server定时向已知的tracker server(能够是多个)发送磁盘剩余空间、文件同步状态、文件上传下载次数等统计信息

　　1.二、Storage Server会链接整个集群中全部的Tracker Server，向它们报告本身的状态

二、选择Tracker server

　　2.一、当集群中不止一个Tracker Server时，因为Tracker之间是彻底对等的关系，客户端在upload文件时能够任意选择一个Tracker

三、选择存储的group

　　当Tracker接收到upload file的请求时，会为该文件分配一个可存储该文件的group，支持以下规则

　　　　3.一、Round robin，全部的group间轮询(默认)

　　　　3.二、Specified group，指定某一个肯定的group

　　　　3.三、Load balance，剩余存储空间多的，group优先

四、选择Storage Server

　　当选定group后，Tracker会在group内选择一个Storage Server给客户端，支持以下选择Storage的规则

　　4.一、Round robin，在group内的全部Storage间轮询(默认)

　　4.二、First server ordered by ip，按ip排序

　　4.三、First server ordered by priority，按优先级排序(优先级在Storage上配置)

五、选择Storage path

　　当分配好Storage server后，客户端将向Storage发送写文件请求，Storage将会为文件分配一个数据存储目录，支持以下规则(在Storage配置文件中能够经过store_path*参数来设置，该参数能够设置多个，经过*来区别)

　　5.一、Round robin，多个存储目录间轮询

　　5.二、剩余存储空间最多的优先

六、生成fileid

　　选定存储目录以后，Storage会为文件生一个fileid，由源Storage server ip、文件建立时间、文件大小、文件crc32和一个随机数拼接而成，而后将这个二进制串进行base64编码，转换为可打印的字符串。

七、选择两级目录

　　当选定存储目录以后，Storage会为文件分配一个fileid，每一个存储目录下有两级256*256的子目录，Storage会按文件fileid进行两次hash，路由到其中一个子目录，而后将文件以fileid为文件名存储到该子目录下。

八、生成文件名

　　当文件存储到某个子目录后，既认为该文件存储成功，接下来会为该文件生成一个文件名，文件名由group、存储目录、两级子目录、fileid、文件后缀名(由客户端指定，主要用于区分文件类型)拼接而成。

文件同步分析

　　写文件时，客户端将文件写至group内一个Storage Server既认为写文件成功，Storage Server写完文件后，会由后台线程将文件同步至group内其余的Storage Server。

同步规则总结以下

只在本组内的Storage Server之间进行同步
源头数据才须要同步，备份数据不须要再次同步，不然就构成闭环了
上述第二条规则有个例外，就是新增一台Storage Server时，由已有的一台Storage Server将已有的全部数据(包括源头数据和备份数据)同步给该新增服务器

　　每一个Storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，Storage会记录向group内其余Storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，因此最好能保证集群内全部Server的时钟保持同步。

文件下载流程分析

　　客户端upload file成功后，会拿到一个Storage生成的文件名，接下来客户端根据这个文件名便可访问到该文件。

流程说明

一、Tracker Server收集Storage Server的状态信息

　　1.一、Storage Server定时向已知的Tracker Server(能够是多个)发送磁盘剩余空间、文件同步状态、文件上传下载次数等统计信息。

　　1.二、Storage Server会链接整个集群中全部的Tracker Server，向他们报告本身的状态。

二、选择Tracker Server

　　2.一、跟upload file同样，在download file时客户端能够选择任意Tracker Server

三、选择可用的Storage Server

　　3.一、client发送download请求给某个Tracker，必须带上文件名信息，Tracker从文件名中解析出文件的group、路径信息、文件大小、建立时间、源Storage Server ip等信息，而后为该请求选择一个Storage用来服务读请求。

　　3.二、因为group内的文件同步是在后台异步进行的，因此有可能出如今读的时候，文件尚未同步到某些Storage Server上，为了尽可能避免访问到这样的Storage，Tracker按照以下规则选择group内可读的Storage

　　　　3.2.一、该文件上传到的源头Storage - 源头Storage只要存活着，确定包含这个文件，源头的地址被编码在文件名中。

　　　　3.2.二、文件建立时间戳 == Storage被同步到时间戳且(当前时间 - 文件建立时间戳) > 文件同步最大时间 - 文件建立后，认为通过最大同步时间后，确定已经同步到其余Storage了。

　　　　3.2.三、文件建立时间戳 < Storage被同步到的时间戳。 - 同步时间戳以前的文件肯定已经同步

　　　　3.2.四、(当前时间 - 文件建立时间戳) > 同步延迟阈值。通过同步延迟阈值时间，认为文件确定已经同步了

FastDFS安装

需求

Tracker Server：
Storage Server：

　　注：Tracker和Storage安装，安装过程都同样，配置文件有差别

安装gcc环境

yum install -y gcc-c++ gcc

安装libevent(高版本可忽略，保险起见安装)

FastDFS依赖libevent库

yum install -y libevent

安装libfastcommon

下载地址：

https://github.com/happyfish100/libfastcommon/releases

补充

也能够用wget方式联网下载，这里我是提早下载到本地客户端，将包拖进linux中

若wget命令不能使用，请执行：yum install -y wget

wget方式：
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.43.tar.gz

建立文件夹，用于存放安装包

将下载后的包放到该目录下

解压缩

编译并安装

拷贝libfastcommon.so文件至/usr/lib目录(高版本可忽略此步)

cp /usr/lib64/libfastcommon.so /usr/lib/

安装FastDFS

下载地址

https://github.com/happyfish100/fastdfs/releases

解压缩

编译与安装

拷贝FastDFS目录下的文件到/etc/fdfs目录下

cp /cyb/soft/fastdfs-6.06/conf/* /etc/fdfs

=========================分割线======================================================

-----------------Tracker和Storage共同安装步骤结束！！！----------------------------

------------------Tracker和Storage只是配置不一样！！！！-----------------------------

=========================分割线======================================================

Tracker Server 配置(虚拟机名:CentOS 6-FastDFS-01)

修改/etc/fdfs/tracker.conf

vim /etc/fdfs/tracker.conf

修改内容

 mkdir /cyb/server/fastdfs/tracker -p

Storage Server配置(虚拟机名：CentOS 6-FastDFS-02)

修改/etc/fdfs/storage.conf

vim /etc/fdfs/storage.conf

修改内容模板

# 指定storage的组名
group_name=group1
base_path=/cyb/server/fastdfs/storage

# 若是有多个挂载磁盘则定义多个store_path
store_path0=/cyb/server/fastdfs/storage
# store_path1=.......
# store_path2=.......
# store_path3=.......

# 配置tracker服务器ip和端口
tracker_server=192.168.1.1:22122
# 若果有多个则配置多个tracker
# tracker_server=xxx.xxx.xxx.xxx:xxxx
# tracker_server=xxx.xxx.xxx.xxx:xxxx
# tracker_server=xxx.xxx.xxx.xxx:xxxx

修改：group_name

修改：base_path

修改：store_path*

　　补充：为何要设置多个store_path*呢？linux若是磁盘不够用的话，用户能够加硬盘，而后设置多个store_path*

修改：tracker_server

mkdir /cyb/server/fastdfs/storage -p

重复Storage Server配置步骤(虚拟机名：CentOS 6-FastDFS-03)

用途

　　该步骤用于演示负载均衡，冗余备份

启动

Tracker启动命令

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

Storage启动命令

 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf

Tracker开启自启动

编辑文件：
vim /etc/rc.d/rc.local

将如下内容添加到该文件中：
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf

Storage开启自启动

编辑文件：
vim /etc/rc.d/rc.local

将如下内容添加到该文件中：
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf

重启

sudo /usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart
sudo /usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart

补充(重要)

查看Storage日志

关闭防火墙！！！

一、关闭命令： service iptables stop
二、永久关闭防火墙：chkconfig iptables off
三、两个命令同时运行内，运行完成容后查看防火墙关闭状态
service iptables status

上传图片测试

FastDFS安装成功后可经过【fdfs_test】命令测试上传、下载等操做(三台中的任意一台测试便可)

修改client.conf

 vim /etc/fdfs/client.conf

修改内容以下

建立目录

mkdir /cyb/server/fastdfs/client -p

上传到FastDFS中

格式：
/usr/bin/fdfs_test /etc/fdfs/client.conf upload 文件路径

/usr/bin/fdfs_test /etc/fdfs/client.conf upload /home/1.txt

上传成功

　　此时这个地址是访问不到的，须要与Nginx整合使用，方可访问该文件！

验证两台机器都上传成功

Tracker.conf配置文件

配置参数说明

＃此配置文件是否已禁用
＃false为启用
＃为残疾人士适用
禁用=假

＃绑定该主机的地址
＃空用于绑定此主机的全部地址
bind_addr =

＃跟踪器服务器端口
端口= 22122

＃链接超时（以秒为单位）
＃默认值为30秒
connect_timeout = 10

＃网络超时（以秒为单位）
＃默认值为30秒
network_timeout = 60

＃存储数据和日志文件的基本路径
base_path = / home / yuqing / fastdfs

＃此服务器支持的最大并发链接数
＃您应该将此参数设置得更大一些，例如。102400
max_connections = 1024

＃接受线程数
＃默认值为1
＃自V4.07起
accept_threads = 1

＃工做线程数，应<= max_connections
＃默认值为4
自V2.00起
work_threads = 4

＃最小抛光量
＃默认值8KB
min_buff_size = 8KB

＃最大增益
＃默认值128KB
max_buff_size = 128KB

＃选择上传文件组的方法
＃0：循环赛
＃1：指定组
＃2：负载均衡，选择最大可用空间组来上传文件
store_lookup = 2

＃上传文件的组
＃当store_lookup设置为1时，必须将store_group设置为组名
store_group = group2

＃要上传文件的存储服务器
＃0：循环（默认）
＃1：第一个服务器按IP地址排序
＃2：按优先级排列的第一个服务器顺序（最小）
＃注意：若是use_trunk_file设置为true，则必须将store_server设置为1或2
store_server = 0

＃存储服务器上载文件的路径（表示磁盘或挂载点）
＃0：循环赛
＃2：负载均衡，选择最大可用空间路径上传文件
store_path = 0

＃要下载文件的存储服务器
＃0：循环（默认）
＃1：当前文件上传到的源存储服务器
download_server = 0

＃为系统或其余应用程序保留的存储空间。
＃若是如下任何存储服务器的可用（可用）空间 
＃一个组<= reserved_storage_space， 
＃没有文件能够上传到该组。
＃字节单位能够是如下之一：
### G或g表示千兆字节（GB）
### M或m表示兆字节（MB）
### K或k表示千字节（KB）
###无字节单位（B）
### XX.XX％做为比例，例如reserved_storage_space = 10％
reserved_storage_space = 20％

#standard日志级别为syslog，不区分大小写，值列表：
###紧急应急
###警报
###暴击
###错误
###警告警告
＃＃＃ 注意
###信息
###调试
log_level =信息

#unix组名以运行此程序， 
＃未设置（空）表示由当前用户组运行
run_by_group =

#unix用户名以运行此程序，
＃未设置（空）表示由当前用户运行
run_by_user =

＃allow_hosts能够屡次出现，host能够是主机名或IP地址，
＃“ *”（仅一个星号）表示匹配全部IP地址
＃咱们可使用像192.168.5.64/26这样的CIDR IP
＃并使用如下范围：10.0.1。[0-254]和主机[01-08,20-25] .domain.com
＃ 例如：
＃allow_hosts = 10.0.1。[1-15,20]
＃allow_hosts = host [01-08,20-25] .domain.com
＃allow_hosts = 192.168.5.64 / 26
allow_hosts = *

＃每隔几秒将日志buff同步到磁盘
＃默认值为10秒
sync_log_buff_interval = 10

＃检查存储服务器的活动间隔秒数
check_active_interval = 120

＃线程堆栈大小，应> = 64KB
＃默认值为256KB
thread_stack_size = 256KB

＃自动调整存储服务器的IP地址
＃默认值为true
storage_ip_changed_auto_adjust = true

＃存储同步文件的最大延迟秒数
＃默认值为86400秒（一天）
自V2.00起
storage_sync_file_max_delay = 86400

＃存储文件同步的最长时间
＃默认值为300秒
自V2.00起
storage_sync_file_max_time = 300

＃若是使用中继文件存储几个小文件
＃默认值为false
＃自V3.00起
use_trunk_file =否 

＃最小插槽大小，应<= 4KB
＃默认值为256字节
＃自V3.00起
slot_min_size = 256

＃最大插槽大小，应> slot_min_size
＃当上传文件的大小小于等于此值时，将其存储到中继文件
＃默认值为16MB
＃自V3.00起
slot_max_size = 16MB

＃中继文件大小，应> = 4MB
＃默认值为64MB
＃自V3.00起
trunk_file_size = 64MB

＃若是预先建立中继文件
＃默认值为false
＃从V3.06开始
trunk_create_file_advance =否

＃建立中继文件的时基
＃时间格式：HH：MM
＃默认值为02:00
＃从V3.06开始
trunk_create_file_time_base = 02:00

＃建立Trunk文件的时间间隔，单位：秒
＃默认值为38400（一天）
＃从V3.06开始
trunk_create_file_interval = 86400

＃建立中继文件的阈值
＃当空闲中继文件大小小于阈值时，将建立 
＃中继文件
＃默认值为0
＃从V3.06开始
trunk_create_file_space_threshold = 20G

＃加载行李箱空闲空间时是否检查行李箱空间占用
＃占用的空间将被忽略
＃默认值为false
＃自V3.09起
＃注意：将此参数设置为true会减慢行李箱空间的加载 
＃启动时。您应在必要时将此参数设置为true。
trunk_init_check_occupying =否

＃若是忽略storage_trunk.dat，则从中继binlog从新加载
＃默认值为false
＃自V3.10起
＃若是版本低于V3.10，则一次设置为true进行版本升级
trunk_init_reload_from_binlog =否

＃压缩中继binlog文件的最小间隔
＃单位：秒
＃默认值为0，0表示永不压缩
＃在主干初始化和主干销毁时，FastDFS压缩主干binlog
＃从新命令将此参数设置为86400（一天）
＃自V5.01起
trunk_compress_binlog_min_interval = 0

＃若是使用存储ID代替IP地址
＃默认值为false
＃自V4.00起
use_storage_id =假

＃指定存储ID的文件名，可使用相对或绝对路径
＃自V4.00起
storage_ids_filename = storage_ids.conf

＃文件名中存储服务器的id类型，值是：
## ip：存储服务器的IP地址
## id：存储服务器的服务器ID
＃仅当use_storage_id设置为true时，此参数才有效
＃默认值为ip
从V4.03开始
id_type_in_filename = id

＃若是存储从属文件使用符号连接
＃默认值为false
＃自V4.01起
store_slave_file_use_link = false

＃若是天天旋转错误日志
＃默认值为false
从V4.02开始
rotation_error_log =否

＃旋转错误日志的时基，时间格式：小时：分钟
＃小时从0到23，分钟从0到59
＃默认值为00:00
从V4.02开始
error_log_rotate_time = 00：00

＃当日志文件超过此大小时旋转错误日志
＃0表示永不按日志文件大小旋转日志文件
＃默认值为0
从V4.02开始
rotation_error_log_size = 0

＃保留日志文件的天数
＃0表示不删除旧的日志文件
＃默认值为0
log_file_keep_days = 0

＃若是使用链接池
＃默认值为false
＃自V4.05起
use_connection_pool =否

＃空闲时间超过此时间的链接将被关闭
＃单位：秒
＃默认值为3600
＃自V4.05起
connection_pool_max_idle_time = 3600

＃该跟踪器服务器上的HTTP端口
http.server_port = 8080

＃检查存储HTTP服务器的活动间隔秒数
＃<= 0表示永不检查
＃默认值为30
http.check_alive_interval = 30

＃检查存储HTTP服务器的活动类型，值是：
＃tcp：仅使用HTTP端口链接到storge服务器， 
＃不要求得到回应
＃http：存储检查有效网址必须返回http状态200
＃默认值为tcp
http.check_alive_type = tcp

＃检查存储HTTP服务器是否存在uri / url
＃注意：存储嵌入HTTP服务器支持uri：/status.html
http.check_alive_uri = / status.html

安装Nginx(Apache)

安装事项

　　Nginx须要安装在每一台Storage服务器上，Tracker服务器上不须要安装！！！！Nginx不明白的童鞋，能够看我另外一篇博客：从入门到精通-Nginx，图文并茂、负载均衡、动静分离、虚拟主机附案例源码

下载文件

点我直达

补充

上传文件能够用：
一、yum install -y lrzsz

二、rz

安装依赖库

一、yum install -y gcc-c++ gcc   (C语言依赖库，若安装过，可不安装)

pcre-devel：pcre，Perl Compatible Regular Expressions，Perl脚本语言兼容正则表达式，为Nginx提供正则表达式库。
openssl-devel：为Nginx提供SSL(安全套接字层）密码库，包含主要的密码算法，经常使用的密钥和证书封装管理功能及SSL协议，并提供丰富的应用程序供测试或其余目的使用。
二、yum -y install pcre-devel openssl-devel

解压缩

执行configure配置

编译与安装

修改nginx.conf

vim /cyb/server/nginx/conf/nginx.conf

注：个人nginx.conf里面内容比较少，是由于我把没用到的东西删掉了！~

创建软连接

ln -n  /cyb/server/nginx/sbin/nginx  /usr/local/sbin

注：创建完软连接以后，就能够在任意位置执行

启动nginx

注：启动前，能够先执行下：nginx -tq，看会不会报错，没报错，说明nginx.conf配置文件，配置的参数是正确的

nginx

测试

　　到目前为止，nginx已经能够正常访问FastDFS上传的文件内容了。

FastDFS-Nginx配置扩展模块(重要)

采坑之路

　　nginx若是在原来的基础模块上，追加新模块，从新编译，原先的不会覆盖，我不知道是版本的缘由仍是怎么回事，个人解决方案就是把原先的nginx，先删掉，在从新一次性编译与安装。

rm -rf /etc/nginx/ --nginx的安装目录
rm -rf /usr/sbin/nginx

若是创建软链接的话，别忘记一块删了哦
rm -rf /usr/local/sbin/nginx

背景

　　上面示例，FastDFS上传的文件，已经能够经过nginx正常访问了，为何还要使用Nginx扩展模块来访问存储文件呢？

若是进行文件合并，那么不使用FastDFS的Nginx扩展模块，是没法访问到具体的文件的，由于文件合并以后，多个小文件都是存储在一个trunk文件中的，在存储目录下，是看不到具体的小文件的。
若是文件未同步成功，那么不适用FastDFS的Nginx扩展模块，是没法正常访问到指定的文件的，而使用了FastDFS的Nginx扩展模块以后，若是要访问的文件未同步成功，那么会解析出来该文件的源存储服务器ip，而后将访问请求重定向或者代理到源存储服务器中进行访问。

下载文件

注：FastDFS的Nginx扩展模块须要安装到每一个Storage Server中

github：https://github.com/happyfish100/fastdfs-nginx-module/releases/tag/V1.22

解压缩

修改config文件(关键一步)

修改第六、15行的内容

第6行：
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"

第15行：
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

拷贝mod_fastdfs.conf

将/cyb/soft/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf拷贝至/etc/fdfs/下

cp /cyb/soft/fastdfs-nginx-module-1.22/src/mod_fastdfs.conf /etc/fdfs/

修改mod_fastdfs.conf

vim /etc/fdfs/mod_fastdfs.conf

base_path=/cyb/server/fastdfs/storage # 基础路径,存储日志文件
tracker_server=192.168.31.220:22122  # tracker服务器的ip 
url_have_group_name=true  # url中是否包含group名称
store_path0=/cyb/server/fastdfs/storage # 指定文件存储路径，访问时使用该路径

拷贝libfdfsclient.so(高版本可忽略)

cp /usr/lib64/libfdfsclient.so /usr/lib/

注：若/usr/lib/下已存在libfdfsclient.so，则此步骤可忽略！！！

执行configure配置

从新编译与安装

重启并查看扩展包

nginx -V    --->V是大写的

显示--add-module，才表明安装模块成功，没成功的，请看我采坑之路介绍

修改nginx.conf配置

搞定

同样能够正常访问

Java客户端

github下载

https://github.com/happyfish100/fastdfs-client-java/releases/tag/V1.26

如何打包，请看：https://www.cnblogs.com/chenyanbin/p/12831553.html

注意修改pom.xml中的<jdk.version>版本

Maven依赖

        <!--fastdfs依赖-->
        <dependency>
            <groupId>org.csource</groupId>
            <artifactId>fastdfs-client-java</artifactId>
            <version>1.27-SNAPSHOT</version>
        </dependency>

java项目结构

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.cyb</groupId>
    <artifactId>fastdfs-demo</artifactId>
    <version>1.0-SNAPSHOT</version>
    <dependencies>
        <!--fastdfs依赖-->
        <dependency>
            <groupId>org.csource</groupId>
            <artifactId>fastdfs-client-java</artifactId>
            <version>1.27-SNAPSHOT</version>
        </dependency>
    </dependencies>

</project>

fdfs_client.conf

tracker_server=192.168.31.220:22122

FastDFSClient.java

package com.cyb.fdfs.client;

import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;
import java.net.URLDecoder;

public class FastDFSClient {
    private static TrackerClient trackerClient = null;
    private static TrackerServer trackerServer = null;
    private static StorageServer storageServer = null;
    private static StorageClient1 client = null;
    // fdfsClient的配置文件路径
    private static String CONF_NAME="/fdfs/fdfs_client.conf";


    static {
        try{
            //配置恩建必须制定全路径
            String confName=FastDFSClient.class.getResource(CONF_NAME).getPath();
            //配置文件全路径若是有中文，须要进行utf8转码
            confName= URLDecoder.decode(confName,"utf8");

            ClientGlobal.init(confName);
            trackerClient=new TrackerClient();
            trackerServer=trackerClient.getConnection();
            storageServer=null;
            client=new StorageClient1(trackerServer,storageServer);
        }
        catch (Exception e){
            e.printStackTrace();
        }
    }

    /**
     * 上传文件方法
     * @param fileName 文件全路径
     * @param extName 文件扩展名，不包含(.)
     * @param metas 文件扩展信息
     * @return
     * @throws Exception
     */
    public static String uploadFile(String fileName, String extName, NameValuePair[] metas) throws Exception{
        String result = client.upload_file1(fileName, extName, metas);
        System.out.println(result);
        return result;
    }

    public static void main(String[] args) {
        try
        {
            uploadFile("/Users/chenyanbin/Desktop/1.jpg","jpg",null);
        }
        catch (Exception e){
            e.printStackTrace();
        }
    }
}

注：此次我只写了一个上传的，他会返回一直String字符串，也就是文件存储的位置，前面在追加ip，拼成url，直接能够访问，这里的client还有其余API，自行查阅，client.API

测试

上传本地的1.jpg，而后经过ip+返回字符串，拼成url访问

项目与maven依赖源码下载

连接: https://pan.baidu.com/s/11kZfO_MRvwErnseWSVgSog  密码: d0pp

maven源码包，须要从新编译

合并存储(重要)

简介

　　在处理海量小文件问题上，文件系统处理性能会受到显著的影响，在读此书(IOPS)与吞吐量(Throughput)这两个指标上会有很多的降低。主要须要面对以下几个问题

元数据管理低效，磁盘文件系统中，目录项(dentry)、索引节点(inode)和数据(data)保存在介质的不一样位置上。所以，访问一个文件须要经历至少3次独立的访问。这样，并发小文件访问就转变成了大量的随机访问，而这种访问普遍使用的磁盘来讲是很是低效的
数据布局低效
IO访问流程复杂，所以一种解决途径就是将小文件合并存储成大文件，使用seek来定位到大文件的指定位置来访问该小文件。

注：

　　FastDFS提供的合并存储功能，默认建立的大文件为64MB，而后在该大文件中存储不少小文件。大文件中容纳一个小文件的空间称为一个Slot，规定Slot最小值为256字节，最大为16MB，也就是小于256字节的文件也须要占用256字节，超过16MB的文件不会合并存储而是建立独立的文件。

合并存储配置

　　FastDFS提供了合并存储功能，全部的配置在tracker.conf文件之中，开启合并存储只须要设置比：use_trunk_file=true 和store_server=1

修改tracker.conf(修改的tracker服务器)

 vim /etc/fdfs/tracker.conf

store_server改成1

use_trunk_file改true

重启tracker

/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart

存储缩略图

FastDFS主从文件

应用背景

　　使用FastDFS存储一个图片的多个分辨率的备份时，但愿只记录源图的fileid，并能将其分辨率的图片与源图关联。可使用从文件方法

解决办法

名词注解：主从文件是指文件ID有关联的文件，一个主文件能够对应多个从文件。

主文件ID=主文件名+主文件扩展名
从文件ID=主文件名+从文件后缀名(如：200*200)+从文件扩展名

流程说明

　　一、先上传主文件(既：源文件，获得主文件FID)

　　二、而后上传从文件(既：缩略图)，指定主文件FID和从文件后缀名，上传后获得从文件FID

java客户端方式(不推荐)

package com.cyb.fdfs.client;

import com.sun.tools.corba.se.idl.StringGen;
import org.csource.common.NameValuePair;
import org.csource.fastdfs.*;

import java.net.URLDecoder;

public class FastDFSClient2 {
    private static TrackerClient trackerClient = null;
    private static TrackerServer trackerServer = null;
    private static StorageServer storageServer = null;
    private static StorageClient1 client = null;
    // fdfsClient的配置文件路径
    private static String CONF_NAME = "/fdfs/fdfs_client.conf";


    static {
        try {
            //配置恩建必须制定全路径
            String confName = FastDFSClient2.class.getResource(CONF_NAME).getPath();
            //配置文件全路径若是有中文，须要进行utf8转码
            confName = URLDecoder.decode(confName, "utf8");

            ClientGlobal.init(confName);
            trackerClient = new TrackerClient();
            trackerServer = trackerClient.getConnection();
            storageServer = null;
            client = new StorageClient1(trackerServer, storageServer);
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 上传主文件
     *
     * @param filePath
     * @return 主文件ID
     * @throws Exception
     */
    public static String uploadFile(String filePath) throws Exception {
        String fileId = "";
        String fileExtName = "";
        if (filePath.contains(".")) {
            fileExtName = filePath.substring(filePath.lastIndexOf(".")+1);
        } else {
            return fileId;
        }
        try {
            fileId = client.upload_file1(filePath, fileExtName, null);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            trackerServer.close();
        }
        return fileId;
    }

    /**
     * 上传从文件
     *
     * @param masterFileId  FastDFS服务器返回的主文件的fileid
     * @param prefixName    从文件后缀名(如：_200*200)
     * @param slaveFilePath 从文件所在路径(主从文件在本地都须要有对应的文件)
     * @return
     * @throws Exception
     */
    public static String uploadSlaveFile(String masterFileId, String prefixName, String slaveFilePath) throws Exception {

        String slaveFileId = "";
        String slaveFileExtName = "";
        if (slaveFilePath.contains(".")) {
            slaveFileExtName = slaveFilePath.substring(slaveFilePath.lastIndexOf(".") + 1);
        } else {
            return slaveFileId;
        }
        try {
            slaveFileId = client.upload_file1(masterFileId, prefixName, slaveFilePath, slaveFileExtName, null);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            trackerServer.close();
        }
        return slaveFileId;
    }

    public static int download(String fileId, String localFile) throws Exception {
        int result = 0;
        //创建链接
        TrackerClient tracker = new TrackerClient();
        TrackerServer trackerServer = tracker.getConnection();
        StorageServer storageServer = null;
        StorageClient1 client = new StorageClient1(trackerServer, storageServer);
        //上传文件
        try {
            result = client.download_file1(fileId, localFile);
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            trackerServer.close();
        }
        return result;
    }

    public static void main(String[] args) {
        try {
            //上传主文件
            String masterFileId=uploadFile("/Users/chenyanbin/Desktop/1.jpg");
            System.out.println("主文件:"+masterFileId);
            //下载上传成功的主文件
            download(masterFileId,"/Users/chenyanbin/Desktop/11.jpg");
            //第三个参数：待上传的从文件(由此可知道，还须要把以前的下载，在本地生成后，在上传)
            String slaveFileId=uploadSlaveFile(masterFileId,"_120x120","/Users/chenyanbin/Desktop/2.jpg");
            System.out.println("从文件:"+slaveFileId);
            //下载上传成功的缩略图
            download(slaveFileId,"/Users/chenyanbin/Desktop/22.jpg");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

Nginx生成缩略图(推荐👍)

image_filter模块

nginx_http_image_filter_module在nginx 0.7.54之后才出现的，用于对jpeg、gif和png图片进行转换处理(压缩、裁剪、旋转)。这个模块默认不被编译，因此要在编译nginx源码的时候，加入相关配置信息

检测nginx模块安装状况

安装步骤

安装gd，HttpImageFilterModule模块须要依赖gd-devel的支持

yum -y install gd-devel

在原来模块基础上追加

--with-http_image_filter_module

访问普通图片

需求，假设咱们图片的真实路径是在本地/cyb/data/img/1.jpg，下面有狠毒ojpg格式的图片，咱们但愿经过访问/img/1_100x100.jpg这样的请求路径能够生成宽为100，高也为100的小图，而且请求的宽和高是可变的，那么这时候须要在nginx模块中拦截请求并返回转换后的小图，在对应server{}段中进行配置。

nginx.conf配置以下

      location ~* /img/(.*)_(\d+)x(\d+)\.(jpg|gif|png)$ {
          root /;
        set $s $1;
        set $w $2;
        set $h $3;
        set $t $4;
        image_filter resize $w $h;
        image_filter_buffer 10M;
        rewrite ^/img/(.*)$ /cyb/data/img/$s.$t break;
       }

旋转：image_filter_rotate 度数;
image_filter rotate 90; --旋转90度
image_filter rotate 180; --旋转180度

裁剪：image_filter crop width height;
image_filter crop 120 60; --裁剪成宽120，高60

而后在/cyb/data/img/下存放一张图片

　　注意：该图片必定要有读取权限，要否则nginx是读取不到的！！！

关闭nginx，并重启(平滑重启没用)

nginx -s stop
nginx

测试(普通图片)

访问FastDFS图片

      location ~ group1/M00/(.+)_(\d+)x(\d+)\.(jpg|gif|png){
        # 设备别名（相似于root的用法）
        alias /cyb/server/fastdfs/storage/data/;
        # fastdfs中的ngx_fastdfs_module模块
        ngx_fastdfs_module;

        set $w $2;
        set $h $3;

        if ($w != "0"){
            rewrite group1/M00(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ group1/M00$1.$4 break;
        }

        if ($h != "0"){
            rewrite group1/M00(.+)_(\d+)x(\d+)\.(jpg|gif|png)$ group1/M00$1.$4 break;
        }
        # 根据给定长宽生成缩略图
        image_filter resize $w $h;
        # 原图最大2M，要裁剪的图片超过2M返回415错误，须要调节参数image_filter_buffer
        image_filter_buffer 2M;
       }

测试(FastDFS图片)

Nginx Image缩略图模块

该模块主要功能是对请求的图片进行缩略/水印处理，支持文字水印和图片水印
支持自定义字体，文字大小，水印透明度，水印位置
支持jpeg/png/gif(Gif生成后变成静态图片)

安装nginx image模块

编译nginx前，请确认是否安装过libcurl-dev libgd2-dev libpcre-dev依赖库

yum install -y dg-devel pcre-devel libcurl-devel

下载nginx image模块

https://github.com/oupula/ngx_image_thumb/archive/master.zip

解压

tar -zxvf ngx_image_thumb-master.zip

执行configure

编译与安装

make && make install

修改nginx.conf配置

      location /img/ {
        root /cyb/data/;
        # 开启压缩功能
        image on;
        # 是否不生成图片而直接处理后输出
        image_output on;

        image_water on;
        # 水印类型：0为图片水印，1为文字水印
        image_water_type 0;
        #水印出现位置
        image_water_pos 9;
        # 水印透明度
        image_water_transparent 80;
        # 水印文件
        image_water_file "/cyb/data/logo.png";
    }

关闭并重启nginx

nginx -s stop
nginx

访问普通图片

源图片：192.168.1.109/img/cyb.jpg
压缩图片:192.168.1.109/img/cyb.jpg!c300x200.jpg

其中c是生成图片缩略图的参数，300是生成的缩略图的宽，200是高

参数说明：

一共能够生成四种不一样类型的缩略图

C：参数按照请求宽高比例从图片高度 10% 处开始截取图片，而后缩放/放大指定尺寸(图片缩略图大小等于请求的宽高)

m：参数按请求宽高比例居中截取图片，而后缩放/放大到指定尺寸(图片缩略图大小等于请求的宽高)

t：参数按请求宽高比例按比例缩放/放大到指定尺寸(图片缩略图大小可能小于请求的宽高)

w：参数按请求宽高比例缩放/放大到指定尺寸，空白处填充白色背景色(图片缩略图大小等于请求的宽高)

测试(普通图片)

细心的小伙伴发现，水印没有出现，术印出没出来有个阈值：600x600(版本不一样，阈值可能不一样)

访问FastDFS图片

    location /group1/M00/ {
        alias /cyb/server/fastdfs/storage/data/;
    
        image on;
        image_output on;
        image_jpeg_quality 75;
    
        image_water on;
        image_water_type 0;
        image_water_pos 9;
        image_water_transparent 80;
        image_water_file "/cyb/data/logo.png";

        # 配置一个不存在的图片地址，防止查看缩略图时照片不存在，服务器响应慢
        # image_backend_server http://www.baidu.com/img/baidu_jpglogo3.gif
    }

从入门到精通(分布式文件系统架构)-FastDFS，FastDFS-Nginx整合，合并存储，存储缩略图，图片压缩，Java客户端

导读

互联网环境中的文件如何存储？

互联网环境中的文件如何进行HTTP访问？

FastDFS介绍

FastDFS是什么？

流程图

FastDFS架构原理分析(重点)

架构分析

Tracker Server：跟踪服务器

Storage Server：存储服务器

Client：客户端

存储策略

Storage状态收集

文件上传流程分析

流程说明

文件同步分析

同步规则总结以下

文件下载流程分析

流程说明

FastDFS安装

需求

安装gcc环境

安装libevent(高版本可忽略，保险起见安装)

安装libfastcommon

建立文件夹，用于存放安装包

解压缩

编译并安装

拷贝libfastcommon.so文件至/usr/lib目录(高版本可忽略此步)

安装FastDFS

下载地址

解压缩

编译与安装

拷贝FastDFS目录下的文件到/etc/fdfs目录下

Tracker Server 配置(虚拟机名:CentOS 6-FastDFS-01)

修改/etc/fdfs/tracker.conf

修改内容

建立目录(若目录已存在，可忽略)

Storage Server配置(虚拟机名：CentOS 6-FastDFS-02)

修改/etc/fdfs/storage.conf

建立目录(若目录已存在，可忽略)

重复Storage Server配置步骤(虚拟机名：CentOS 6-FastDFS-03)

用途

启动

Tracker启动命令

Storage启动命令

Tracker开启自启动

Storage开启自启动

重启

补充(重要)

关闭防火墙！！！

上传图片测试

修改client.conf

修改内容以下

建立目录

上传到FastDFS中

上传成功

验证两台机器都上传成功

Tracker.conf配置文件

配置参数说明

安装Nginx(Apache)

安装事项

下载文件

补充

安装依赖库

解压缩

执行configure配置

编译与安装

修改nginx.conf

创建软连接

启动nginx

测试

FastDFS-Nginx配置扩展模块(重要)

采坑之路

背景

下载文件

解压缩

修改config文件(关键一步)

修改第六、15行的内容

拷贝mod_fastdfs.conf

Nginx Image缩略图模块