由异常掉电问题---谈xfs文件系统

本文皆是做者本身的学习总结或感悟（linux环境），若有不对，欢迎提出一块儿探讨！！

目录结构

  一.相关知识

  二.问题提出

  三.处理方法

  四.最终结果

 

1、相关知识

1.xfs文件系统（概念性知识网上不少，本身去查喽）

　　文件系统的定义：

　　　　文件系统是操做系统用于明确存储设备（常见的是磁盘，也有基于NAND Flash的固态硬盘）或分区上的文件的方法和数据结构；即在存储设备上组织文件的方法。

　　xfs文件系统：

　　　　是一个日志型文件系统

　　　　日志文件系统？加一个日志来记录文件系统的更改，即便在断电或者是操做系统崩溃的状况下也能保证文件系统一致性

　　　　怎么保持的？

　　　　要向磁盘写数据的时候，确定要改变元数据，日志就要在这以前记录要怎么去改元数据的，当发生异常掉电或者文件系统崩溃后，进行修复时会检查文件系统的一致性，当出现不一致　　时，可经过它来恢复。

                                                      （在数据下刷到磁盘以前，会先将对元数据的变更存放在日志中）

2.VM参数

　　1.Vm（ virtual memory ）是什么

　　　　1).不一样的linux 内核版本，VM的参数是不同的，本文介绍的kernel 3.4.24-v64

　　　　2).VM的相关参数位于/proc/sys/vm，用来优化虚拟内存的

　　　　3)./proc这个目录？  Linux 内核提供了一种经过 /proc 文件系统，在运行时访问内核内部数据结构、改变内核设置的机制。proc文件系统是一个伪文件系统，它只存在内存当中，而 　　　　不占用外存空间。它以文件系统的方式为访问系统内核数据的操做提供接口。用户和应用程序能够经过proc获得系统的信息，并能够改变内核的某些参数。因为系统的信息，如进程，　　　　是动态改变的，因此用户或应用程序读取proc文件时，proc文件系统是动态从系统内核读出所需信息并提交的。

　　　　4). /proc/sys包含了系统信息和内核参数

　　　　5). /etc/sysctl.conf全部内核配置信息，可作永久性修改

　　注：因为VM参数较多，感兴趣的话可参考个人另外一篇随笔《vm参数简介》

 

3.XFS文件系统参数

　　1.这个网上内容比较少，我作以下几点介绍

　　　　1）xfs文件系统各个参数只有在xfs文件系统被挂载到linux系统上时，咱们才能获取到。

　　　　2）xfs文件系统的参数位于/proc/sys/fs/xfs里，能够实时查看或调试各个参数

　 注：XFS参数较多，感兴趣的话能够参考个人另外一篇随笔《XFS参数简介》

 

4.个人理解：VM参数和XFS参数是两套控制缓存的参数，他们应该具备如下的关系：

　　vm参数与xfs参数影响的阶段不一样：

　　这里面涉及到的是linux的缓存机制，详细信息请参考《Linux 内核的文件 Cache 管理机制介绍》

 与《Linux 文件系统剖析》这里我作简单的介绍：linux在具体文件系统（ext3，xfs，fat32等等）之上，存在了虚拟文件系统。虚拟文件系统对具体文件系统进行了‘封装’，这也使得linux能够挂载多种文件系统，但只使用同一套的函数或者命令。对于文件系统的缓存，这里细分了page cache和buffer cache。他们都存在于内存中，可是page cache主要用于缓存文件的内容，用于频繁的读取，buffer cache则用于将数据下刷到磁盘。经过实验能够发现，当用dd写裸设备时，buffer cache增加迅速，当像文件系统里copy数据时，page cache增加迅速。具体请参考文档

2、问题的提出

写这篇文章是由于带有xfs文件系统的机器上，在有IO的状况下出现异常掉电时，文件系统会出现损坏（不一致，数据丢失等）。当对这个xfs文件进行修复时，文件系统为十几T的状况下，修复时间很是慢，咱们最终也没有解决这个问题，估计现阶段除了使用PMBUS电池或者UPS，尚未更好的方法来解决xfs文件系统异常掉电问题。

 

3、处理方法

咱们主要针对如下变量进行了测试：

1.VM参数的dirty_radio与dirty_background_radio

2.xfs参数的age_buffer_centisecs、xfsbufd_centisecs、xfssyncd_centisecs

3.mkfs.xfs参数

4.mount参数

5.内存大小

6.cpu多线程

 

注：详细的测试结果和处理方法因为商业机密，不能泄露

 

4、最终结果

这里我给你们展现一下华为公司针对xfs修复的一个流程：

 

结束：但愿提出更多关于xfs文件系统修复相关的建议，谢谢！