二. 并发编程 (进程介绍)

一 .进程概念理解

1.前面必备知识点

#一 操做系统的做用：
    1：隐藏丑陋复杂的硬件接口，提供良好的抽象接口
    2：管理、调度进程，而且将多个进程对硬件的竞争变得有序

#二 多道技术：
    1.产生背景：针对单核，实现并发
    ps：
    如今的主机通常是多核，那么每一个核都会利用多道技术
    有4个cpu，运行于cpu1的某个程序遇到io阻塞，会等到io结束再从新调度，会被调度到4个
    cpu中的任意一个，具体由操做系统调度算法决定。
    
    2.空间上的复用：如内存中同时有多道程序
    3.时间上的复用：复用一个cpu的时间片
       强调：遇到io切，占用cpu时间过长也切，核心在于切以前将进程的状态保存下来，这样
            才能保证下次切换回来时，能基于上次切走的位置继续运行

 2. 进程概念

第一，进程是一个实体。每个进程都有它本身的地址空间，通常状况下，包括文本区域（text region）、数据区域（data region）和堆栈（stack region）
。文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。
第二，进程是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时（操做系统执行之），它才能成为一个活动的实体，咱们称其为进程。[3] 
进程是操做系统中最基本、重要的概念。是多道程序系统出现后，为了刻画系统内部出现的动态状况，描述系统内部各道程序的活动规律引进的一个概念,全部多道程序设计操做系统都创建在进程的基础上。

进程的概念

1. 操做系统引入进程的概念的缘由

从理论角度看，是对正在运行的程序过程的抽象；
从实现角度看，是一种数据结构，目的在于清晰地刻画动态系统的内在规律，有效管理和调度进入计算机系统主存储器运行的程序。

2.进程的特征

动态性：进程的实质是程序在多道程序系统中的一次执行过程，进程是动态产生，动态消亡的。
并发性：任何进程均可以同其余进程一块儿并发执行
独立性：进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位；
异步性：因为进程间的相互制约，使进程具备执行的间断性，即进程按各自独立的、不可预知的速度向前推动
结构特征：进程由程序、数据和进程控制块三部分组成。
多个不一样的进程能够包含相同的程序：一个程序在不一样的数据集里就构成不一样的进程，能获得不一样的结果；可是执行过程当中，程序不能发生改变。

3.进程与程序中的区别

程序是指令和数据的有序集合，其自己没有任何运行的含义，是一个静态的概念。
而进程是程序在处理机上的一次执行过程，它是一个动态的概念。
程序能够做为一种软件资料长期存在，而进程是有必定生命期的。
程序是永久的，进程是暂时的。

注意：同一个程序执行两次，就会在操做系统中出现两个进程，因此咱们能够同时运行一个软件，分别作不一样的事情也不会混乱。

3. 进程调度

要想多个进程交替运行，操做系统必须对这些进程进行调度，这个调度也不是随即进行的，而是须要遵循必定的法则，由此就有了进程的调度算法。

先来先服务（FCFS）调度算法是一种最简单的调度算法，该算法既可用于做业调度，也可用于进程调度。FCFS算法比较有利于长做业（进程），而不利于短做业（进程）。由此可知，本算法适合于CPU繁忙型做业，而不利于I/O繁忙型的做业（进程）。

先来先服务调度算法

短做业（进程）优先调度算法（SJ/PF）是指对短做业或短进程优先调度的算法，该算法既可用于做业调度，也可用于进程调度。但其对长做业不利；不能保证紧迫性做业（进程）被及时处理；做业的长短只是被估算出来的。

短做业优先调度算法

时间片轮转(Round Robin，RR)法的基本思路是让每一个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中，须要将CPU的处理时间分红固定大小的时间片，例如，几十毫秒至几百毫秒。若是一个进程在被调度选中以后用完了系统规定的时间片，但又未完成要求的任务，则它自行释放本身所占有的CPU而排到就绪队列的末尾，等待下一次调度。同时，进程调度程序又去调度当前就绪队列中的第一个进程。
      显然，轮转法只能用来调度分配一些能够抢占的资源。这些能够抢占的资源能够随时被剥夺，并且能够将它们再分配给别的进程。CPU是可抢占资源的一种。但打印机等资源是不可抢占的。因为做业调度是对除了CPU以外的全部系统硬件资源的分配，其中包含有不可抢占资源，因此做业调度不使用轮转法。
在轮转法中，时间片长度的选取很是重要。首先，时间片长度的选择会直接影响到系统的开销和响应时间。若是时间片长度太短，则调度程序抢占处理机的次数增多。这将使进程上下文切换次数也大大增长，从而加剧系统开销。反过来，若是时间片长度选择过长，例如，一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕，则轮转法变成了先来先服务法。时间片长度的选择是根据系统对响应时间的要求和就绪队列中所容许最大的进程数来肯定的。
      在轮转法中，加入到就绪队列的进程有3种状况：
      一种是分给它的时间片用完，但进程还未完成，回到就绪队列的末尾等待下次调度去继续执行。
      另外一种状况是分给该进程的时间片并未用完，只是由于请求I/O或因为进程的互斥与同步关系而被阻塞。当阻塞解除以后再回到就绪队列。
      第三种状况就是新建立进程进入就绪队列。
      若是对这些进程区别对待，给予不一样的优先级和时间片从直观上看，能够进一步改善系统服务质量和效率。例如，咱们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞缘由分红不一样的就绪队列，每一个队列按FCFS原则排列，各队列之间的进程享有不一样的优先级，但同一队列内优先级相同。这样，当一个进程在执行完它的时间片以后，或从睡眠中被唤醒以及被建立以后，将进入不一样的就绪队列。  

时间片轮转法

时间片轮转法

前面介绍的各类用做进程调度的算法都有必定的局限性。如短进程优先的调度算法，仅照顾了短进程而忽略了长进程，并且若是并未指明进程的长度，则短进程优先和基于进程长度的抢占式调度算法都将没法使用。
而多级反馈队列调度算法则没必要事先知道各类进程所需的执行时间，并且还能够知足各类类型进程的须要，于是它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中，调度算法的实施过程以下所述。
(1) 应设置多个就绪队列，并为各个队列赋予不一样的优先级。第一个队列的优先级最高，第二个队列次之，其他各队列的优先权逐个下降。该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，为每一个进程所规定的执行时间片就愈小。例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个队列的时间片要比第i个队列的时间片长一倍。
(2) 当一个新进程进入内存后，首先将它放入第一队列的末尾，按FCFS原则排队等待调度。当轮到该进程执行时，如它能在该时间片内完成，即可准备撤离系统；若是它在一个时间片结束时还没有完成，调度程序便将该进程转入第二队列的末尾，再一样地按FCFS原则等待调度执行；若是它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三队列，……，如此下去，当一个长做业(进程)从第一队列依次降到第n队列后，在第n 队列便采起按时间片轮转的方式运行。

(3) 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；仅当第1～(i-1)队列均空时，才会调度第i队列中的进程运行。若是处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个队列)，则此时新进程将抢占正在运行进程的处理机，即由调度程序把正在运行的进程放回到第i队列的末尾，把处理机分配给新到的高优先权进程。

多级反馈队列

多级反馈队列

4. 进程的并行与并发

并行 : 并行是指二者同时执行，好比赛跑，两我的都在不停的往前跑；（资源够用，好比三个线程，四核的CPU ）

并发 : 并发是指资源有限的状况下，二者交替轮流使用资源，好比一段路(单核CPU资源)同时只能过一我的，A走一段后，让给B，B用完继续给A ，交替使用，目的是提升

区别:
并行是从微观上，也就是在一个精确的时间片刻，有不一样的程序在执行，这就要求必须有多个处理器。
并发是从宏观上，在一个时间段上能够看出是同时执行的，好比一个服务器同时处理多个

5. 同步异步阻塞非阻塞

同步和异步

    所谓同步就是一个任务的完成须要依赖另一个任务时，只有等待被依赖的任务完成后，依赖的任务才能算完成，这是一种可靠的任务序列。要么成功都成功，失败都失败，两个任务的状态能够保持一致。

　  所谓异步是不须要等待被依赖的任务完成，只是通知被依赖的任务要完成什么工做，依赖的任务也当即执行，只要本身完成了整个任务就算完成了。至于被依赖的任务最终是否真正完成，依赖它的任务没法肯定，
    因此它是不可靠的任务序列

好比我去银行办理业务，可能会有两种方式：
第一种 ：选择排队等候；
第二种 ：选择取一个小纸条上面有个人号码，等到排到我这一号时由柜台的人通知我轮到我去办理业务了；

第一种：前者(排队等候)就是同步等待消息通知，也就是我要一直在等待银行办理业务状况；

第二种：后者(等待别人通知)就是异步等待消息通知。在异步消息处理中，等待消息通知者(在这个例子中就是等待办理业务的人)每每注册一个回调机制，
在所等待的事件被触发时由触发机制(在这里是柜台的人)经过某种机制(在这里是写在小纸条上的号码，喊号)找到等待该事件的人。

阻塞与非阻塞

      阻塞和非阻塞这两个概念与程序（线程）等待消息通知(无所谓同步或者异步)时的状态有关。
也就是说阻塞与非阻塞主要是程序（线程）等待消息通知时的状态角度来讲的

继续上面的那个例子，不管是排队仍是使用号码等待通知，若是在这个等待的过程当中，等待者除了等待消息通知以外不能作其它的事情，那么该机制就是阻塞的，表如今程序中,也就是该程序
一直阻塞在该函数调用处不能继续往下执行。
相反，有的人喜欢在银行办理这些业务的时候一边打打电话发发短信一边等待，这样的状态就是非阻塞的，由于他(等待者)没有阻塞在这个消息通知上，而是一边作本身的事情一边等待。

注意：同步非阻塞形式其实是效率低下的，想象一下你一边打着电话一边还须要抬头看到底队伍排到你了没有。若是把打电话和观察排队的位置当作是程序的两个操做的话，
这个程序须要在这两种不一样的行为之间来回的切换，效率可想而知是低下的；而异步非阻塞形式却没有这样的问题，由于打电话是你(等待者)的事情，而通知你则是柜台(消息触发机制)的事情，程序没有在两种不一样的操做中来回切换。

例子

 

6. 进程的建立与结束

进程的建立

　　但凡是硬件，都须要有操做系统去管理，只要有操做系统，就有进程的概念，就须要有建立进程的方式，一些操做系统只为一个应用程序设计，好比微波炉中的控制器，一旦启动微波炉，全部的进程都已经存在。

　　而对于通用系统（跑不少应用程序），须要有系统运行过程当中建立或撤销进程的能力，主要分为4中形式建立新的进程：

　　1. 系统初始化（查看进程linux中用ps命令，windows中用任务管理器，前台进程负责与用户交互，后台运行的进程与用户无关，运行在后台而且只在须要时才唤醒的进程，称为守护进程，如电子邮件、web页面、新闻、打印）

　　2. 一个进程在运行过程当中开启了子进程（如nginx开启多进程，os.fork,subprocess.Popen等）

　　3. 用户的交互式请求，而建立一个新进程（如用户双击暴风影音）

　　4. 一个批处理做业的初始化（只在大型机的批处理系统中应用）

　　不管哪种，新进程的建立都是由一个已经存在的进程执行了一个用于建立进程的系统调用而建立的。　

1. 在UNIX中该系统调用是：fork，fork会建立一个与父进程如出一辙的副本，两者有相同的存储映像、一样的环境字符串和一样的打开文件（在shell解释器进程中，执行一个命令就会建立一个子进程）

　　2. 在windows中该系统调用是：CreateProcess，CreateProcess既处理进程的建立，也负责把正确的程序装入新进程。

　　关于建立子进程，UNIX和windows

　　1.相同的是：进程建立后，父进程和子进程有各自不一样的地址空间（多道技术要求物理层面实现进程之间内存的隔离），任何一个进程的在其地址空间中的修改都不会影响到另一个进程。

　　2.不一样的是：在UNIX中，子进程的初始地址空间是父进程的一个副本，提示：子进程和父进程是能够有只读的共享内存区的。可是对于windows系统来讲，从一开始父进程与子进程的地址空间就是不一样的。

进程的结束

　　1. 正常退出（自愿，如用户点击交互式页面的叉号，或程序执行完毕调用发起系统调用正常退出，在linux中用exit，在windows中用ExitProcess）
　　2. 出错退出（自愿，python a.py中a.py不存在）
　　3. 严重错误（非自愿，执行非法指令，如引用不存在的内存，1/0等，能够捕捉异常，try...except...）
　　4. 被其余进程杀死（非自愿，如kill -9）