linux swap空间使用率过大处理

linux swap空间的swappiness=0

 

linux 会使用硬盘的一部分作为SWAP分区，用来进行进程调度--进程是正在运行的程序--把当前不用的进程调成‘等待（standby）‘，甚至‘睡眠（sleep）’，一旦要用，再调成‘活动（active）’，睡眠的进程就躺到SWAP分区睡大觉，把内存空出来让给‘活动’的进程。
　　若是内存够大，应当告诉 linux 没必要太多的使用 SWAP 分区， 能够经过修改 swappiness 的数值。swappiness=0的时候表示最大限度使用物理内存，而后才是 swap空间，swappiness＝100的时候表示积极的使用swap分区，而且把内存上的数据及时的搬运到swap空间里面。
　　在linux里面，默认设置swappiness这个值等于60。

　　
　　如今通常1个G的内存可修改成10， 2个G的可改成5， 甚至是0。具体这样作：
　　1.查看你的系统里面的swappiness
　　$ cat /proc/sys/vm/swappiness
　　不出意外的话，你应该看到是 60
　　2.修改swappiness值为10
　　$ sudo sysctl vm.swappiness=10
　　可是这只是临时性的修改，在你重启系统后会恢复默认的60，为长治久安，还要更进一步：
　　$ sudo gedit /etc/sysctl.conf
　　在这个文档的最后加上这样一行:
　　vm.swappiness=10
　　而后保存，重启。ok，你的设置就生效了。 

通常来讲，Linux的虚拟内存会根据系统负载自动调整。内存页（page）swap到磁盘会显著的影响Kafka的性能，而且Kafka重度使用page cache，若是VM系统swap到磁盘，那说明没有足够的内存来分配page cache。

 

避免swap的一种方式是设置swap空间为0。可是，swap会在系统崩溃时提供安全机制，或者会在out of memory的状况下阻止操做系统 kill 掉进程。因为这个缘由，推荐 vm.swappiness参数设置为一个很是低的值：1 。这个参数表示 VM系统中的多少百分比用来做为swap空间。

 

另一种方式是经过内核调节“脏页”（注：“脏页”会被刷到磁盘上）。Kafka依赖磁盘I/O性能来提升producer的响应时间。这也是为何一般优先把log segment功能放在能够快速响应的磁盘中（好比SSD）。这样使得flush进程把“脏数据”写入磁盘前，“脏页”数目就减小了，能够设置vm.dirty_background_ratio（表示占用系统内存的百分比）参数的值为10 如下。大部分应用场景下，vm.dirty_background_ratio设置为 5 就够用了，要注意了：这个参数值不能设置为 0 ，由于设置为 0 后会引发内核持续刷“脏页”，使得内核的buffer write功能无法施展。

 

“脏页”的总量能够经过vm.dirty_ratio 来改变，默认值是 20 （此处也是百分比），这个值的设置范围较大，通常建议设置 60 到 80 为合理的值。可是vm.dirty_ratio 参数也引来了不小的风险，会形成大量unflush的数据在硬刷到磁盘时产生较长的I/O停顿。若是vm.dirty_ratio 值设置的较大时，强烈建议Kafka开启备份功能，以备系统崩溃。

 

在设置了这些参数后，须要监控Kafka集群运行时“脏页”的数量，当前“脏页”数量可由以下方式查看（/proc/vmstat文件）：

 

#cat /proc/vmstat | egrep "dirty|writeback"

nr_dirty 3875

nr_writeback 29

nr_writeback_temp 0

临时生效：sysctl -w vm.swappiness=0

 

永久生效：

echo "vm.swappiness = 0">> /etc/sysctl.conf （尽可能不使用交换分区，注意不是禁用）

 

刷新SWAP

能够执行命令刷新一次SWAP（将SWAP里的数据转储回内存，并清空SWAP里的数据）

swapoff -a && swapon -a

 

sysctl -p (执行这个使其生效，不用重启)

 

清理缓存命令

以前应该先

sync下

由于系统在操做的过程中，会把你的操做到的文件资料先保存到buffer中去，由于怕你在操做的过程当中由于断电等缘由遗失数据，因此在你操做过程当中会把文件资料先缓存。

因此咱们在清理缓存先要先把buffe中的数据先写入到硬盘中，sync命令

上面的echo 3 是清理全部缓存

echo 0 是不释放缓存

echo 1 是释放页缓存

ehco 2 是释放dentries和inodes缓存

echo 3 是释放 1 和 2 中说道的的全部缓存

 

说明：
1>. /proc是一个虚拟文件系统，咱们能够经过对它的读写操做做为与kernel实体间进行通讯的一种手段。也就是说能够经过修改/proc中的文件，来对当前kernel的行为作出调整。也就是说咱们能够经过调整/proc/sys/vm/drop_caches来释放内存。

0 – 不释放
1 – 释放页缓存
2 – 释放dentries和inodes
3 – 释放全部缓存

数字1是用来清空最近放问过的文件页面缓存

数字2是用来清空文件节点缓存和目录项缓存

数字3是用来清空1和2全部内容的缓存。

2>. 关于drop_caches的官方说明以下：

Writing to this file causes the kernel to drop clean caches,dentries and inodes from memory, causing that memory to becomefree.
To free pagecache, use echo 1 > /proc/sys/vm/drop_caches;
to free  dentries and  inodes, use echo 2 > /proc/sys/vm/drop_caches;
to free pagecache, dentries and inodes, use echo 3 >/proc/sys/vm/drop_caches.
Because this is a non-destructive operation and dirty objects are not freeable, the user should run sync first.

 

3>.  Linux内核会将它最近访问过的文件页面缓存在内存中一段时间，这个文件缓存被称为pagecache。

Inode是linux/unix操做系统中的一种数据结构，包含了各文件相关的一些重要信息。在建立文件系统时，就会同时建立大量的inode。通常inode表会占用文件系统磁盘空间的1%。

 

目录项缓存(dcache)dentries

 

各参数含义：
total：总物理内存
used：已使用内存
free：彻底未被使用的内存
shared：应用程序共享内存
buffers：缓存，主要用于目录方面,inode值等
cached：缓存，用于已打开的文件
-buffers/cache：应用程序使用的内存大小，used减去缓存值
+buffers/cache：全部可供应用程序使用的内存大小，free加上缓存值

 

其中：
total = used + free
-buffers/cache=used-buffers-cached，这个是应用程序真实使用的内存大小
+buffers/cache=free+buffers+cached，这个是 服务器 真实还可利用的内存大小

[oracle@cddserver1 ~]$ free -m
             total       used       free     shared    buffers     cached
Mem:         32096      10379      21717          0         38       7942
-/+ buffers/cache:       2398      29698Swap:        34287          0      34287 这里面的第二行才是真正服务器的空闲内存