Linux用户态进程的内存管理

上一篇咱们了解了内存在内核态是如何管理的,本篇文章咱们一块儿来看下内存在用户态的使用状况,若是上一篇文章说是内核驱动工程师常常面对的内存管理问题,那本篇就是应用工程师常面对的问题。linux

相信你们都知道对用户态的内存消耗对象是进程,应用开发者面对的全部代码操做最后的落脚点都是进程,这也是说为何内存和进程两个知识点的重要性,理解了内存和进程两大法宝,对全部软件开发的理解都会有了全局观(关于进程的知识之后再整理和你们分享)。web

下面闲话少说,开始本篇的内容——进程的内存消耗和泄漏算法


进程的虚拟地址空间VMA(Virtual Memory Area)

在linux操做系统中,每一个进程都经过一个task_struct的结构体描叙,每一个进程的地址空间都经过一个mm_struct描叙,c语言中的每一个段空间都经过vm_area_struct表示,他们关系以下 :shell

上图中,task_struct中的mm_struct就表明进程的整个内存资源,mm_struct中的pgd为页表,mmap指针指向的vm_area_struct链表的每个节点就表明进程的一个虚拟地址空间,即一个VMA。一个VMA最终可能对应ELF可执行程序的数据段、代码段、堆、栈、或者动态连接库的某个部分。bash

VMA的分布状况能够有经过pmap命令,及maps,smaps文件查看,以下图:微信

另,VMA的具体内容可参考下图。app


page fault的几种可能性

咱们先来看张图:编辑器

(此图来源于宋宝华老师)ide

  • 如,调用malloc申请100M内存,IA32下在0~3G虚拟地址中马上就会占用到大小为100M的VMA,且符合堆的定义,这一段VMA的权限是R+W的。但因为Lazy机制,这100M其实并无得到,这100M所有映射到一个物理地址相同的零页,且在页表中记录的权限为只读的。当100M中任何一页发生写操做时,MMU会给CPU发page fault(MMU能够从寄存器读出发生page fault的地址;MMU能够读出发生page fault的缘由),Linux内核收到缺页中断,在缺页中断的处理程序中读出虚拟地址和缘由,去VMA中查,发现是用户程序在写malloc的合法区域且有写权限,Linux内核就真正的申请内存,页表中对应一页的权限也修改成R+W。工具

  • 如,程序中有野指针飞到了此程序运行时进程的VMA之外的非法区域,硬件就会收到page fault,进程会收到SIGSEGV信号报段错误并终止。如,程序中有野指针飞到了此程序运行时进程的VMA之外的非法区域,硬件就会收到page fault,进程会收到SIGSEGV信号报段错误并终止。

  • 如,代码段在VMA中权限为R+X,若是程序中有野指针飞到此区域去写,则也会发生段错误。(另,malloc堆区在VMA中权限为R+W,若是程序的PC指针飞到此区域去执行,一样发生段错误。)

  • 如,执行代码段时会发生缺页,Linux申请1页内存,并从硬盘读取出代码段,此时产生了IO操做,为major主缺页。如,执行代码段时会发生缺页,Linux申请1页内存,并从硬盘读取出代码段,此时产生了IO操做,为major主缺页。

(此图来源于宋宝华老师)

综上,page fault后,Linux会查VMA,也会比对VMA中和页表中的权限,体现出VMA的重要做用。


malloc分配的原理

malloc的过程其实就是把VMA分配到各类段当中,这时候是没有真正分配物理地址的。malloc 调用后,只是分配了内存的逻辑地址,在内核的mm_struct 链表中插入vm_area_struct结构体,没有分配实际的内存。当分配的区域写入数据是,引起页中断,创建物理页和逻辑地址的映射。下图表示了这个过程。

从操做系统角度来看,进程分配内存有两种方式,分别由两个系统调用完成:brk和mmap(不考虑共享内存)。

  • malloc小于128k的内存,使用brk分配内存,将_edata往高地址推(只分配虚拟空间,不对应物理内存(所以没有初始化),第一次读/写数据时,引发内核缺页中断,内核才分配对应的物理内存,而后虚拟地址空间创建映射关系)

  • malloc大于128k的内存,使用mmap分配内存,在堆和栈之间找一块空闲内存分配(对应独立内存,并且初始化为0)


内存的消耗VSS RSS PSS USS

首先,咱们评估一个进程的内存消耗都是指用户空间的内存,不包括内核空间的内存消耗 。这里咱们用工具 procrank先来看下Linux进程的内存占用量 。

  • VSS -Virtual Set Size 虚拟耗用内存(包含共享库占用的内存)

  • RSS -Resident Set Size 实际使用物理内存(包含共享库占用的内存)

  • PSS -Proportional Set Size 实际使用的物理内存(比例分配共享库占用的内存)

  • USS -Unique Set Size 进程独自占用的物理内存(不包含共享库占用的内存)


下面再用一张图来更好的解释VSS,RSS,PSS,USS之间的区别:


有了对VSS,RSS,PSS,USS的了解,咱们趁热打铁来看下内存在进程中是如何被瓜分的:

(此图来源于宋宝华老师)

1044,1045,1054三个进程,每一个进程都有一个页表,对应其虚拟地址如何向real memory上去转换。

process 1044的1,2,3都在虚拟地址空间,因此其VSS=1+2+3。

process 1044的4,5,6都在real memory上,因此其RSS=4+5+6。

分析real memory的具体瓜分状况:

4 libc代码段,1044,1045,1054三个进程都使用了libc的代码段,被三个进程分享。

5 bash shell的代码段,1044,1045都是bash shell,被两个进程分享。

6 1044独占

因此,上图中4+5+6并不全是1044进程消耗的内存,由于4明显被3个进程指向,5明显被2个进程指向,衍生出了PSS(按比例计算的驻留内存)的概念。进程1044的PSS为4/3 +5/2 +6。

最后,进程1044独占且驻留的内存USS为 6。

通常来讲内存占用大小有以下规律:VSS >= RSS >= PSS >= USS


【部份内容整理于宋宝华老师课程】

【推荐阅读】

CPU是如何访问内存的?

物理地址和虚拟地址的分布

Linux内核内存管理算法Buddy和Slab


添加极客助手微信,加入技术交流群



长按,扫码,关注公众号



点赞、留言、转发!

本文分享自微信公众号 - 人人都是极客(rrgeek)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索