详解:物理地址,虚拟地址,内存管理,逻辑地址之间的关系

物理地址:

这里说的物理地址是内存中的内存单元实际地址,不是外部总线连接的其他电子元件的地址!

物理地址属于比较好理解的,物理地址就是内存中每个内存单元的编号,这个编号是顺序排好的,物理地址的大小决定了内存中有多少个内存单元,物理地址的大小由地址总线的位宽决定!

虚拟地址:

虚拟地址是CPU保护模式下的一个概念,保护模式是80286系列和之后的x86兼容CPU操作模式,在CPU引导完操作系统内核后,操作系统内核会进入一种CPU保护模式,也叫虚拟内存管理,在这之后的程序在运行时都处于虚拟内存当中,虚拟内存里的所有地址都是不直接的,所以你有时候可以看到一个虚拟地址对应不同的物理地址,比如A进程里的call函数入口虚拟地址是0x001,而B也是,但是它俩对应的物理地址却是不同的,操作系统采用这种内存管理方法

1.      是防止程序对物理地址写数据造成一些不可必要的问题,比如知道了A进程的物理地址,那么向这个地址写入数据就会造成A进程出现问题,在虚拟内存中运行程序永远不知道自己处于内存中那一段的物理地址上!

现在操作系统运行在保护模式下即便知道其他进程的物理地址也不允许向其写入!但是可以通过操作系统留下的后门函数获取该进程上的虚拟地址空间所有控制权限并写入指定数据,详细会在反汇编编程中教给大家!

2.      虚拟内存管理采用一种拆东墙补西墙的形式,所以虚拟内存的内存会比物理内存要大许多。

在进入虚拟模式之前CPU以及Bootloader(BootLoader是在操作系统内核运行之前运行。可以初始化硬件设备、建立内存空间映射图,从而将系统的软硬件环境带到一个合适状态,以便为最终调用操作系统内核准备好正确的环境),操作系统内核均运行在实模式下,直接对物理地址进行操作!

虚拟内存中也有分页管理,这种管理方法是为了确保内存中不会出现内存碎片,当操作系统内核初始化完毕内存中的分页表后CPU的分页标志位会被设置,这个分页标志位是给MMU看的!

分页管理:

内存分页其实就是我们所说的4G空间,内存的所有内存被操作系统内核以4G为每页划分开,当我们程序运行时会被加载到内存中的4G空间里,其实说是有4G其实并没有真正在的4G空间,4G空间中有一小部分被映射到了物理内存中,或者被映射到了硬盘的文件上(fopen),或者没有被映射,还有一部分在内存当中就会被划分栈,堆,其中有大片大片的内存是没有被映射的,同样物理内存也是被分页了用来与虚拟内存产生映射关系!

其实真正情况下只有3G用户空间,假如你的内存是4G的那么其中有1G是给操作系统内核使用的,所谓的4G空间只是操作系统基于虚拟内存这种拆东墙补西墙的形式给你一种感觉每个进程都有4G的可用空间一样!

这里来说一下拆东墙补西墙,当我们程序被加载进4G空间时其实根本用不了所谓的4G空间,其中有大片内存被闲置,那么这个时候呢,其他程序被加载进来时发现内存不够了,就把其他程序里的4G空间里闲置部分拿出来给这个进程用,换之这个进程内存不够时就会把其他进程里闲置的空间拿过来给该进程使用。银行也是如此!

当我们要对物理地址做操作时比如if语句要根据CPU的状态标志寄存器来做不同的跳转,那么这个时候就要对CPU额状态寄存器做操作了就必须知道它的物理地址,内存中有一个电子元件叫MMU负责从操作系统已经初始化好的内存映射表里查询与虚拟地址对应的物理地址并转换,比如mov 0x4h8这个是虚拟地址,当我们要对这个虚拟地址里写数据时那么MMU会先判断CPU的分页状态寄存器里的标志状态是否被设定,如果被设定那么MMU就会捕获这个虚拟地址物理并在操作系统内核初始化好的内存映射表里查询与之对应的物理地址,并将其转换成真正的实际物理地址,然后在对这个实际的物理地址给CPU,在由CPU去执行对应的命令,相反CPU往内存里读数据时比如A进程要读取内存中某个虚拟地址的数据,A进程里的指令给的是虚拟地址,MMU首先会检查CPU的分页状态寄存器标志位是否被设置,如果被设置MMU会捕获这个虚拟地址并将其转换成相应的物理地址然后提交给CPU,在由CPU到内存中去取数据!

当我们内存中的容量不够时CPU会从磁盘中分割内存出来给程序用,当然磁盘分割出来的程序速度要慢许多,具体请查看“深度理解指令集”这篇文章!

 

内存碎片,内存碎片分为两种,一种是内部碎片和外部碎片!

内部碎片:

内部碎片是指在内存中已经被分配出去的内存,但是进程不使用这一块内存,进程却一直占用着导致操作系统无法回收给其他进程使用,为了有效的防止这种空间上的浪费现象所以使用了内存分页管理机制!

操作系统在内存中会维护一个内存信息分页表用于标示某段到某段为个页面!

比如在内存中分配这样的一个地址,当ID为1的内存不用了,但是该进程一直占用着这段ID0-2的内存,所以如果此时分配一个长度为2字节的内存空间,ID1的内存刚好足够分配但是这段地址一直被该进程所占用着,所以无法分配!

后来Intel工程师为了防止这种情况的出现用页为单位的内存管理方式,有效的防止了这种内存碎片的情况发生!

这样的话页ID为1的地方为单独的一个页,当进程不使用时操作系统可以将该页内存分配给其他进程所使用!

但是这种分页内存往往也会出现一些内存碎片,比如分页分到最后剩下一部分不足以分配给其他进程所使用的内存页面也称为内部碎片,只不过这种浪费比原本的浪费要节约许多!

外部碎片:

外部碎片是指还没有被分配的内存空间,但是这些空间因为拆东墙补西墙的原因导致内存地址不连续,也无法分配给其他进程使用,或者地址连续但是却因为容量太小无法分配给其他进程使用!

 

逻辑地址:

逻辑地址由两部份组成,段标识符和段内偏移量。段标识符是由一个16位长的字段组成,称为段选择符。其中前13位是一个索引号。后面3位包含一些硬件细节,如图(转载百度百科):


逻辑地址即程序中的段地址,比如说0x1到0x4为一个页面,那么0x1-0x4之间的段地址称为逻辑地址,逻辑地址可以通过内存中的段数组里寻找段选择符+段偏移地址轻易得到物理地址。

一般操作系统需要维护两个段描述表:GDT(全局描述符表GDTGlobalDescriptor Table在整个系统中,全局描述符表GDT只有一张(一个处理器对应一个GDT),GDT可以被放在内存的任何位置,但CPU必须知道GDT的入口,也就是基地址放在哪里,Intel的设计者门提供了一个寄存器GDTR用来存放GDT的入口地址,程序员将GDT设定在内存中某个位置之后,可以通过LGDT指令将GDT的入口地址装入此寄存器,从此以后,CPU就根据此寄存器中的内容作为GDT的入口来访问GDT了。GDTR中存放的是GDT在内存中的基地址和其表长界限。),LDT(局部描述符表可以有若干张,每个进程任务都有一张,LDT对应GDT里的某段子描述符,可以把LDT理解成二级描述符,GDT为一级描述符,LDT的入口地址保存在LDTR的寄存器里)。

如图所示:


GDT在内存中的地址和大小存放在CPUgdtr控制寄存器中,而LDT则在ldtr寄存器中。

什么时候使用全局和局部的呢?这是由段描述符中的T1字段表示的,=0,表示用GDT=1表示用LDT

局部的表示进程自己的,仅进程自己可以使用,全局的则表示操作系统等所有进程都可以使用!

如果不使用段偏移表示地址的话则称为虚拟地址!

线性地址:

线性地址是逻辑地址到物理地址之间的一个中间层变换,程序代码会产生逻辑地址,或者说是段中的偏移地址,加上相应段的基地址就生成了一个线性地址,逻辑地址是如何知道自己的段基的址?是通过局部LDT段描述符获取的。

如果启用了分页机制,那么MMU内存管理单元会在内存映射表里寻找与线性地址对应的物理地址。若没有启用分页机制,那么线性地址直接就是物理地址。Intel 80386的线性地址空间容量为4G(2的32次方即32根地址总线寻址)。

 

总结:

1.虚拟地址是CPU保护模式下的一个概念,保护模式是80286系列和之后的x86兼容CPU操作模式,在进入虚拟模式之前CPU以及Bootloader,操作系统内核均运行在实模式下,直接对物理地址进行操作!

2.虚拟内存中也有分页管理,这种管理方法是为了确保内存中不会出现内存碎片,当操作系统内核初始化完毕内存中的分页表后CPU的分页标志位会被设置,这个分页标志位是给MMU看的!

3.虚拟内存采用一种拆东墙补西墙的形式让每个进程都拥有3G用户空间!

4.当内存中的容量不够时会从磁盘中切割内存出来供进程使用!

5.内部碎片:

内部碎片是指在内存中已经被分配出去的内存,但是进程不使用这一块内存,进程却一直占用着导致操作系统无法回收给其他进程使用!

6.外部碎片:

外部碎片是指还没有被分配的内存空间,但是这些空间因为拆东墙补西墙的原因导致内存地址不连续,也无法分配给其他进程使用,或者地址连续但是却因为容量太小无法分配给其他进程使用!

 

7.内存中有一个叫MMU(内存管理单元)的电子元件负责从操作系统已经初始化好的内存映射表里查询与虚拟地址对应的物理地址并转换,

8.逻辑地址由两部份组成,段标识符和段内偏移量

逻辑地址即程序中的段地址,比如说0x1到0x4为一个页面,那么0x1-0x4之间的段地址称为逻辑地址,逻辑地址可以通过内存中的段数组里寻找段选择符+段偏移地址轻易得到物理地址。

线性地址是逻辑地址到物理地址之间的一个中间层变换,程序代码会产生逻辑地址,或者说是段中的偏移地址,加上相应段的基地址就生成了一个线性地址。