磁盘告警之---神奇的魔法（Sparse file）

 

1、问题来源

半夜钉钉接到告警，某台机器的磁盘使用率少于20%，因而迷糊中爬起来，咔咔咔 find / -size +1G，咔咔咔，把几个只有4-5G的日志文件echo空值了一下，而后吓蒙了，刚刚使用的还有160G，怎么把两个日志文件一清空，就只使用了25G了，是否是刚刚没清醒把数据文件删了，可是仔细仔细的看了看执行的命令，没有啊...，我在梦游吗？

 

 

 

 

 

 

2、出现的问题

而后就发现了另一个神奇的现象了，是有魔法吗？在这个/data目录下的一个文件查看有60G，可是为何使用df -h查看的时候Used才25G，为何文件使用的大小还大于Used...... ，本来觉得是句柄数没释放，可是我前面使用的是echo，而不是rm；使用lsof |grep deleted 也没有看到没有释放的句柄。后面才发现ls -lh查看与du查看到的大小不同......

 

[root@ip-XXXXXXXX data]# ls -lh test.dat 
-rw------- 1 root root 60G Sep 19 07:22 test.dat

 

[root@ip-XXXXXXXX data]# du -sh test.dat 
4.4G    test.dat

 

3、排查过程

一点多了，既然已经把告警解决了，保留现场具体为何明天再看吧，皮肤要紧，虽然睡得再多皮肤仍是不太好。睡觉不是个好东西，睡完起来全部的梦想都忘了........，屁颠屁颠跑到公司，吃了个早餐，蒽~~~~，open BaiDu，open Google，Input Why ....，然而一上午过去了，咔咔咔，吃中餐，10点吃早餐，12点吃中餐~~~，吃饭过程当中带着点罪恶感，肚肚上的肉肉。睡完午觉起来，继续.....，终于有一点点头绪了，在某个文章里看到了Sparse file这个词，而后使用du查看的时候果真...

 

[root@ip-172-30-38-68 data]# du -h --apparent-size test.dat 
60G    test.dat

 

4、Sparse file

 既然找到问题了，就得好好看看这是个啥东西，看了以后第一反应就是这个文件预分配了60G，但实际上只使用了4.4G...，蒽~~，就这么个意思......

一、定义

什么是Sparse files？Sparse files是一个分配了大小但实际上没有填充的文件，如上面的案例中，分配了60G，实际上只用了4.4G。能够看一下下面这两张图

 

二、其余使用场景

Mysql、Oracle、虚拟机等

 

虚拟机：在咱们平时在本身电脑上建立虚拟机时，须要指定磁盘容量大小，这里的最大磁盘大小就是Sparse file，指定一个最大使用容量就能够了（通常为20G）。指定后，若是虚拟机只使用了1G，那么使用物理磁盘也是1G，而不是20G都使用了；并非我原先的觉得分配了20G给虚拟机，这20G物理磁盘就只能虚拟机用，并非的。

 

 

 

三、建立命令

dd of=sparse-file bs=7M seek=1120 count=0   # 至关于建立一个7G的空文件，不占磁盘上的存储数据

或者

truncate -s 7G lile   # 至关于建立一个7G的空文件，不占磁盘上的存储数据

 

四、测试

当我在/run目录下建立一个7G的sparse file时，磁盘的存储空间是否改变，是否占用了磁盘存储空间？

# 能够看到/run目录下是7.7G
[root@master run]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p2  200G  6.0G  195G   3% /
devtmpfs        7.7G     0  7.7G   0% /dev
tmpfs           7.7G     0  7.7G   0% /dev/shm
tmpfs           7.7G  428K  7.7G   1% /run
tmpfs           7.7G     0  7.7G   0% /sys/fs/cgroup
tmpfs           1.6G     0  1.6G   0% /run/user/1000

# 建立一个7G的sparse file
[root@master run]# truncate -s 7G lile

[root@master run]# ls -lh lile 
-rw-r--r-- 1 root root 7.0G Sep 19 08:46 lile

# lile这个文件只是一个空的文件，不占存储空间
[root@master run]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p2  200G  6.0G  195G   3% /
devtmpfs        7.7G     0  7.7G   0% /dev
tmpfs           7.7G     0  7.7G   0% /dev/shm
tmpfs           7.7G  428K  7.7G   1% /run
tmpfs           7.7G     0  7.7G   0% /sys/fs/cgroup
tmpfs           1.6G     0  1.6G   0% /run/user/1000

# 使用dd建立一个大小为7G的普通文件
[root@master run]# dd if=/dev/zero of=output bs=1G count=7
7+0 records in
7+0 records out
7516192768 bytes (7.5 GB) copied, 3.5524 s, 2.1 GB/s

# 能够看到是成功的，这就说明sparse文件预分配的大小不影响磁盘存储空间，不影响其余文件使用存储空间
[root@master run]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/nvme0n1p2  200G  6.0G  195G   3% /
devtmpfs        7.7G     0  7.7G   0% /dev
tmpfs           7.7G     0  7.7G   0% /dev/shm
tmpfs           7.7G  7.1G  704M  92% /run
tmpfs           7.7G     0  7.7G   0% /sys/fs/cgroup
tmpfs           1.6G     0  1.6G   0% /run/user/1000

 

五、总结及注意

1）Sparse files并不占用磁盘存储空间

2）平时咱们使用ls -lh查看文件大小、find / -size +1G 找出来的日志大小并不必定准确，尽可能再一遍使用du -sh确认

3）ls命令和du命令在必定程度上能够这样表示

 

5、其余

一、本想看一下跟sparse file相关的unix系统方面的，可是感受本身知识点不太足，有点难度....

 

二、遇到问题必定要深究，说来惭愧，作运维3年之久了，仍是第一次据说sparse file...

 

三、本身买的那些Linux系统书，是时候搬出来了