《Linux内核分析》期中总结

•arch：支持不一样的CPU的源代码，其中的关键目录包括：Documentation、drivers、firewall、fs、include等
•documentation：文档目录
•fs：文件系统
•init：内核启动相关的代码main.c、Makefile等基本都在该目录中。（main.c中的start_ kernel函数是Linux内核启动的起点，即初始化内核的起点）
•kernel：Linux内核核心代码在kernel目录中。
•lib：公用的库文件
•mm：内存管理的代码
•scripts：与脚本相关的代码
•security：与安全相关的代码
•sound目录：与声音相关的代码
•tools目录：与工具相关的代码
•net：与网络相关的代码
•readme：介绍了什么是Linux，Linux可以在哪些硬件上运行，如何安装内核源代码等
•……

构造一个简单的Linux系统

cd LinuxKernel/ 
qemu -kernel linux-3.18.6/arch/x86/boot/bzImage -initrd rootfs.img

- qemu命令是模拟内核启动虚拟机，启动Linux内核须要三个参数（kernel、initrd、root所在的分区和目录），执行的第一个文件是init。
- -kernel指明内核文件名
- -initrd指明根文件系统，启动其中的init文件。（menuOS源代码编译->init->rootfs.img）其中rootfs.img 为根文件系统，目前只支持help、version、quit功能。
- 启动过程为：启动内核->启动init->启动进程
跟踪调试Linux内核的启动过程

qemu -kernel linux-3.18.6/arch/x86/boot/bzImage -initrd rootfs.img -s -S

4. 扒开系统调用的三层皮（上）

（一）用户态、内核态和中断处理过程

内核态：通常现代CPU有几种指令执行级别。在高执行级别下，代码能够执行特权指令，访问任意的物理地址，这种CPU执行级别对应着内核态
用户态：在相应的低级别执行状态下，代码的掌控范围有限，只能在对应级别容许的范围内活动
中断处理是从用户态进入内核态的主要方式，中断/int指令会在堆栈上保存一些寄存器的值：如用户态栈顶地址、当前的状态字、当时cs:eip的值（当前中断程序的入口）

（二）系统调用概述

系统调用是操做系统为用户态进程与硬件设备进行交互提供的一组接口
系统调用概述和系统调用的三层皮：xyz（API）、system_ call（中断向量）、sys_xyz（中断向量对应的中断服务程序）

（三）使用库函数API和C代码中嵌入汇编代码触发同一个系统调用

使用库函数API获取系统当前时间
C代码中嵌入汇编代码的方法
使用C代码中嵌入汇编代码触发系统调用获取系统当前时间

5. 扒开应用系统的三层皮（下）

（一）给MenuOS增长time和time-asm命令

rm menu -rf //强制删除当前menu

git clone http://github.com/mengning/menu.git   //从新克隆新版本的menu

cd menu

ls

make rootfs //rootfs是事先写好的一个脚本，自动编译自动生成根文件系统，同时自动启动MenuOS

vi test.c  //进入test.c文件

MenuConfig("getpid","Show Pid",Getpid);

MenuConfig("getpid_asm","Show Pid(asm)",GetpidAsm);  //在main函数中增长MenuConfig()

int Getpid(int argc,char *argv[]);

int GetpidAsm(int argc,char *argv[]); //增长对应的Getpid和GetpidAsm两个函数

make rootfs //编译

（二）使用gdb跟踪系统调用内核函数sys_time

qemu -kernel linux-3.18.6/arch/x86/boot/bzImage -initrd rootfs.img -s -S 

gdb

(gdb)file linux-3.18.6/vmlinux

(gdb)target remote:1234 //链接到须要调试的MenuOS

（gdb）b start_kernel //设置断点

（gdb）c //执行，可见程序在start_kernel处停下

list //可查看start_kernel的代码

（gdb）b sys_time //sys_time是13号系统调用对应的内核处理函数，在该函数处设置断点

（gdb）c

//若是这里一直按n单步执行，会进入schedule函数。sys_time返回后进入汇编代码处理，gdb没法继续进行追踪
执行int 0x80后执行system call对应的代码（system call不是函数，是一段特殊的汇编代码，gdb还不能进行跟踪）。

（三）系统调用在内核代码中的工做机制和初始化

系统调用在内核代码中的工做机制和初始化
简化后便于理解的system_call伪代码
简单浏览system_call和iret之间的主要代码

6. 进程的描述和进程的建立

（一）进程的描述

进程描述符task_struct数据结构

 struct task_struct{ 
    volatile long state; //进程状态，-1表示不可执行，0表示可执行，大于1表示中止 
    void *stack; //内核堆栈 
    atomic_t usage;  
    unsigned int flags; //进程标识符 
    unsigned int ptrace;  
    …… 
}

（二）进程的建立

进程的建立概览及fork一个进程的用户态代码
理解进程建立过程复杂代码的方法
浏览进程建立过程相关的关键代码
建立的新进程是从哪里开始执行的
使用gdb跟踪建立新进程的过程
道生一（start_ kernel...cpu_ idle），一辈子二(kernel_ init和kthreadd)，二生三（即前面的0、一、2三个进程），三生万物（1号进程是全部用户态进程的祖先，2号进程是全部内核线程的祖先）
start_ kernel建立了cpu_ idle，也就是0号进程。而0号进程又建立了两个线程，一个是kernel_ init，也就是1号进程，这个进程最终启动了用户态；另外一个是kthreadd。0号进程是固定的代码，1号进程是经过复制0号进程PCB以后在此基础上作修改获得的
iret与int 0x80指令对应，一个是弹出寄存器值，一个是压入寄存器的值
若是将系统调用类比于fork()；那么就至关于系统调用建立了一个子进程，而后子进程返回以后将在内核态运行，而返回到父进程后仍然在用户态运行

7. 可执行程序的装载

（一）预处理、编译、连接和目标文件的格式

可执行程序是怎么得来的

1. C源代码(.c)通过编译器预处理被编译成汇编代码(.asm)

2. 汇编代码由汇编器被编译成目标代码(.o)

3. 将目标代码连接成可执行文件(a.out)

4. 可执行文件由操做系统加载到内存中执行

目标文件的格式ELF

    目标文件的三种形式：
    1. 可重定位文件.o,用来和其余object文件一块儿建立可执行文件和共享文件
    2. 可执行文件，指出应该从哪里开始执行
    3. 共享文件，主要是.so文件，用来被连接编辑器和动态连接器连接

静态连接的ELF可执行文件和进程的地址空间

可执行文件加载到内存时：

1. 加载效果：将代码段数据加载到内存中，再把数据加载到内存，默认从0x8048000地址开始加载
2. 启动一个刚加载过可执行文件的进程时，可执行文件加载到内存以后执行的第一条代码地址
3. 通常静态连接会将全部代码放在一个代码段，而动态连接的进程会有多个代码段

（二）可执行程序、共享库和动态加载

装载可执行程序以前的工做

1. 通常执行一个程序的Shell环境，实验中直接使用execve系统调用
2. Shell自己不限制命令行参数的个数，命令行参数的个数受限于命令自身
3. Shell会调用execve将命令行参数和环境参数传递给可执行程序的main函数

装载时动态连接和运行时动态连接应用举例

1. 准备.so文件（在Linux下动态连接文件格式，在Windows中是.dll）
2. 编译成.so文件

（三）可执行程序的装载

可执行程序的装载相关关键问题分析

1. execve与fork是比较特殊的系统调用：

• execve用它加载的可执行文件把当前的进程覆盖掉，返回以后就不是原来的程序而是新的可执行程序起点；
• fork函数的返回点ret_ from_fork是用户态起点

2. sys_ execve内核处理过程：

• do_ execve -> do_ execve_ common -> exec_ binprm -> search_ binary_handler，最后根据文件头部信息寻找对应的文件格式处理模块

sys_execve的内部处理过程

exec通常和fork调用，常规用法是fork出一个子进程，而后在子进程中执行exec，替换为新的代码。
使用gdb跟踪sys_execve内核函数的处理过程

1. 开始先更新内核，再用test_exec.c将test.c覆盖掉
2. test.c文件中增长了exec系统调用，Makefile文件中增长了gcc -o hello hello.c -m32 -static
3. 启动内核并验证execv函数
4. 启动gdb调试
5. 先停在sys_execve处，再设置其它断点
6. 进入函数单步执行

可执行程序的装载与庄生梦蝶的故事

　　庄周（调用execve的可执行程序）入睡（调用execve陷入内核），醒来（系统调用execve返回用户态）发现本身是蝴蝶（被execve加载的可执行程序）
浅析动态连接的可执行程序的装载

8. 进程的切换和系统的通常执行过程

（一）进程切换的关键代码switch_to分析

1. 进程进度与进程调度的时机分析

schedule()函数实现调度:

中断处理过程（包括时钟中断、I/O中断、系统调用和异常）中，直接调用schedule()，或者返回用户态时根据need_resched标记调用schedule()
内核线程能够直接调用schedule()进行进程切换，也能够在中断处理过程当中进行调度，也就是说内核线程做为一类的特殊的进程能够主动调度，也能够被动调度
用户态进程没法实现主动调度，仅能经过陷入内核态后的某个时机点进行调度，即在中断处理过程当中进行调度

2. 进程上下文切换相关代码分析

为了控制进程的执行，内核必须有能力挂起正在CPU上执行的进程，并恢复之前挂起的某个进程的执行，这叫作进程切换、任务切换、上下文切换
挂起正在CPU上执行的进程，与中断时保存现场是不一样的，中断先后是在同一个进程上下文中，只是由用户态转向内核态执行
进程上下文包含了进程执行须要的全部信息
schedule()函数选择一个新的进程来运行，并调用context_ switch进行上下文的切换，这个宏调用switch_ to来进行关键上下文切换

（二）Linux系统的通常执行过程

1. Linux系统的通常执行过程分析

最通常的状况：正在运行的用户态进程X切换到运行用户态进程Y的过程：

1. 正在运行的用户态进程X
2. 发生中断——save cs:eip/esp/eflags(current) to kernel stack,then load cs:eip(entry of a specific ISR) and ss:esp(point to kernel stack).
3. SAVE_ALL //保存现场
4. 中断处理过程当中或中断返回前调用了schedule()，其中的switch_to作了关键的进程上下文切换
5. 标号1以后开始运行用户态进程Y(这里Y曾经经过以上步骤被切换出去过所以能够从标号1继续执行)
6. restore_all //恢复现场
7. iret - pop cs:eip/ss:esp/eflags from kernel stack
8.继续运行用户态进程Y

2. Linux系统执行过程当中的几个特殊状况

1. 经过中断处理过程当中的调度时机，用户态进程与内核线程之间互相切换和内核线程之间互相切换，与最通常的状况很是相似，只是内核线程运行过程当中发生中断没有进程用户态和内核态的转换
2. 内核线程主动调用schedule()，只有进程上下文的切换，没有发生中断上下文的切换，与最通常的状况略简略
3. 建立子进程的系统调用在子进程中的执行起点及返回用户态，如fork
4. 加载一个新的可执行程序后返回到用户态的状况，如execve

3. 内核与舞女

1. 进程的地址空间一共有4G，其中0——3G是用户态能够访问，3G以上只有内核态能够访问
2. 内核至关于出租车，能够为每个“招手”的进程提供内核态到用户态的转换。
3. 没有进程须要“承载”的时候，内核进入idle0号进程进行“空转”。当用户进程有需求时，内核发生中断，帮助用户进程完成请求，而后再返回到用户进程。就好像Taxi将用户载了一圈以后又把用户放下来。
4. 3G以上的部分就是这样的“出租车”，是全部进程共享的，在内核态部分切换的时候就比较容易
5. 内核是各类中断处理程序和内核线程的集合

（三）Linux系统架构和执行过程概览

1. Linux操做系统架构概览

2. 最简单也是最复杂的操做——执行ls操做

3. 从CPU和内存的角度看Linux系统的执行

3、实验总结

　　在这几周的实验中我遇到的问题一共有三个：一是clone新版本的menu时显示链接超时，解决方法为在实验楼环境中点击“中止实验”而后再从新进入输入命令；二是编译命令make rootfs结果显示失败，缘由是该路径下原有的rootfs文件还存在，解决方法为删除原rootfs文件再执行编译指令；三是偶尔target remote：1234这个命令没法执行，显示链接超时，解决方法为从新执行qemu -kernel linux-3.18.6/arch/x86/boot/bzImage -initrd rootfs.img -s -S 指令。

4、学习总结

　　经过八周的视频学习和教材学习，我对于Linux内核有了初步的理解。在视频中老师为咱们讲解了部分核心源码，在课后做业里也有尝试着本身分析进程建立过程相关的关键代码、可执行程序的装载、进程上下文切换相关代码、Linux系统架构和执行过程等，虽举步维艰，但也收获颇丰。Linux内核主要包括进程管理、内存管理、设备驱动、文件系统，从分析内核到了解整个系统是如何工做的、如何控制管理资源分配、进程切换并执行、各类策略和结构让系统运行时更有效率等，在日渐深刻的学习中我愈发认识到内核源码数据结构和算法的精妙之处。不过我也认识到自身的许多不足，在平时的学习中有一些内容仅仅是浅尝辄止而没有来得及细嚼慢咽，掌握的不够全面。并且在本身虚拟机环境中动手实践的效果不理想。在往后的学习中我会定时查漏补缺，争取有朝一日可以彻底领会内核源码的精妙之处并能吸取借鉴用于其它方面。