进程相关知识

时间 2019-11-11

标签进程相关知识繁體版

原文原文链接

进程：顾名思义，进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。html

进程的概念起源于操做系统，是操做系统最核心的概念，也是操做系统提供的最古老也是最重要的抽象概念之一。操做系统的其余全部内容都是围绕进程的概念展开的。想要了解进程就必须先了解操做系统，老师文章。node

PS：即便能够利用的cpu只有一个（早期的计算机确实如此），也能保证支持（伪）并发的能力。将一个单独的cpu变成多个虚拟的cpu（多道技术：时间多路复用和空间多路复用+硬件上支持隔离），没有进程的抽象，现代计算机将不复存在。python
操做系统的做用：linux
- 一、隐藏丑陋复杂的硬件接口，提供良好的抽象接口
- 二、管理、调度进程，而且将多个进程对硬件的竞争变得有序
多道技术：所谓多道程序设计技术，就是指容许多个程序同时进入内存并运行。即同时把多个程序放入内存，并容许它们交替在CPU中运行，它们共享系统中的各类硬、软件资源。当一道程序因I/O请求而暂停运行时，CPU便当即转去运行另外一道程序。nginx
- 产生背景：针对单核，实现并发（一个cup上运行多个程序）git
  如今的主机通常是多核，那么每一个核都会利用多道技术
  
  有4个cpu，运行于cpu1的某个程序遇到io阻塞，会等待到io结束再从新调度，会被调度到4个
  
  cpu中的任意一个，具体由操做系统调度算法决定。
- 空间上的复用：如内存中同时有多道程序web
- 时间上的复用：复用一个cpu的时间片，算法
  xxxxxxxxxx
  
  强调：遇到io切，占用cpu时间过长也切，核心在于切以前将进程的状态保存下来，这样
  
  才能保证下次切换回来时，能基于上次切走的位置继续运行

什么是进程？

进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操做系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。咱们本身在python文件中写了一些代码，这叫作程序，运行这个python文件的时候，这叫作进程。编程

狭义定义：进程是正在运行的程序的实例
广义定义：进程是一个具备必定独立功能的程序关于某个数据集合的一次运行活动。它是操做系统动态执行的基本单元，在传统的操做系统中，进程既是基本的分配单元，也是基本的执行单元。

          
            ​x 
           
第一，进程是一个实体。每个进程都有它本身的地址空间，通常状况下，包括文本区域（text region）（python的文件）、数据区域（data region）（python文件中定义的一些变量数据）和堆栈（stack region）。文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。
第二，进程是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时（操做系统执行之），它才能成为一个活动的实体，咱们称其为进程。[3] 进程是操做系统中最基本、重要的概念。是多道程序系统出现后，为了刻画系统内部出现的动态状况，描述系统内部各道程序的活动规律引进的一个概念,全部多道程序设计操做系统都创建在进程的基础上。​动态性：进程的实质是程序在多道程序系统中的一次执行过程，进程是动态产生，动态消亡的。并发性：任何进程均可以同其余进程一块儿并发执行独立性：进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位；异步性：因为进程间的相互制约，使进程具备执行的间断性，即进程按各自独立的、不可预知的速度向前推动结构特征：进程由程序、数据和进程控制块三部分组成。多个不一样的进程能够包含相同的程序：一个程序在不一样的数据集里就构成不一样的进程，能获得不一样的结果；可是执行过程当中，程序不能发生改变。

程序与进程的区别windows

          
            xxxxxxxxxx 
           
程序是指令和数据的有序集合，其自己没有任何运行的含义，是一个静态的概念。
而进程是程序在处理机上的一次执行过程，它是一个动态的概念。程序能够做为一种软件资料长期存在，而进程是有必定生命期的。                    程序是永久的，进程是暂时的。

1、进程的调度

要想多个进程交替运行，操做系统必须对这些进程进行调度，这个调度也不是随即进行的，而是须要遵循必定的法则，由此就有了进程的调度算法。

一、先来先服务调度算法

          
            xxxxxxxxxx 
           
先来先服务（FCFS）调度算法是一种最简单的调度算法，该算法既可用于做业调度，也可用于进程调度。FCFS算法比较有利于长做业（进程），而不利于短做业（进程）。由此可知，本算法适合于CPU繁忙型做业，而不利于I/O繁忙型的做业（进程）。

二、短做业优先调度算法

          
            xxxxxxxxxx 
           
短做业（进程）优先调度算法（SJ/PF）是指对短做业或短进程优先调度的算法，该算法既可用于做业调度，也可用于进程调度。但其对长做业不利；不能保证紧迫性做业（进程）被及时处理；做业的长短只是被估算出来的。

三、时间片轮转法

          
            xxxxxxxxxx 
           
时间片轮转(Round Robin，RR)法的基本思路是让每一个进程在就绪队列中的等待时间与享受服务的时间成比例。在时间片轮转法中，须要将CPU的处理时间分红固定大小的时间片，例如，几十毫秒至几百毫秒。若是一个进程在被调度选中以后用完了系统规定的时间片，但又未完成要求的任务，则它自行释放本身所占有的CPU而排到就绪队列的末尾，等待下一次调度。同时，进程调度程序又去调度当前就绪队列中的第一个进程。
      显然，轮转法只能用来调度分配一些能够抢占的资源。这些能够抢占的资源能够随时被剥夺，并且能够将它们再分配给别的进程。CPU是可抢占资源的一种。但打印机等资源是不可抢占的。因为做业调度是对除了CPU以外的全部系统硬件资源的分配，其中包含有不可抢占资源，因此做业调度不使用轮转法。在轮转法中，时间片长度的选取很是重要。首先，时间片长度的选择会直接影响到系统的开销和响应时间。若是时间片长度太短，则调度程序抢占处理机的次数增多。这将使进程上下文切换次数也大大增长，从而加剧系统开销。反过来，若是时间片长度选择过长，例如，一个时间片能保证就绪队列中所需执行时间最长的进程能执行完毕，则轮转法变成了先来先服务法。时间片长度的选择是根据系统对响应时间的要求和就绪队列中所容许最大的进程数来肯定的。​      在轮转法中，加入到就绪队列的进程有3种状况：      一种是分给它的时间片用完，但进程还未完成，回到就绪队列的末尾等待下次调度去继续执行。      另外一种状况是分给该进程的时间片并未用完，只是由于请求I/O或因为进程的互斥与同步关系而被阻塞。当阻塞解除以后再回到就绪队列。      第三种状况就是新建立进程进入就绪队列。      若是对这些进程区别对待，给予不一样的优先级和时间片从直观上看，能够进一步改善系统服务质量和效率。例如，咱们可把就绪队列按照进程到达就绪队列的类型和进程被阻塞时的阻塞缘由分红不一样的就绪队列，每一个队列按FCFS原则排列，各队列之间的进程享有不一样的优先级，但同一队列内优先级相同。这样，当一个进程在执行完它的时间片以后，或从睡眠中被唤醒以及被建立以后，将进入不一样的就绪队列。

四、多级反馈队列

          
            xxxxxxxxxx 
           
前面介绍的各类用做进程调度的算法都有必定的局限性。如短进程优先的调度算法，仅照顾了短进程而忽略了长进程，并且若是并未指明进程的长度，则短进程优先和基于进程长度的抢占式调度算法都将没法使用。
而多级反馈队列调度算法则没必要事先知道各类进程所需的执行时间，并且还能够知足各类类型进程的须要，于是它是目前被公认的一种较好的进程调度算法。在采用多级反馈队列调度算法的系统中，调度算法的实施过程以下所述。(1) 应设置多个就绪队列，并为各个队列赋予不一样的优先级。第一个队列的优先级最高，第二个队列次之，其他各队列的优先权逐个下降。该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，为每一个进程所规定的执行时间片就愈小。例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个队列的时间片要比第i个队列的时间片长一倍。​(2) 当一个新进程进入内存后，首先将它放入第一队列的末尾，按FCFS原则排队等待调度。当轮到该进程执行时，如它能在该时间片内完成，即可准备撤离系统；若是它在一个时间片结束时还没有完成，调度程序便将该进程转入第二队列的末尾，再一样地按FCFS原则等待调度执行；若是它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三队列，……，如此下去，当一个长做业(进程)从第一队列依次降到第n队列后，在第n 队列便采起按时间片轮转的方式运行。​(3) 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；仅当第1～(i-1)队列均空时，才会调度第i队列中的进程运行。若是处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个队列)，则此时新进程将抢占正在运行进程的处理机，即由调度程序把正在运行的进程放回到第i队列的末尾，把处理机分配给新到的高优先权进程。

进程之间的通讯总结

管道(Pipe) 全部的 POSIX systems, Windows；

命名管道(FIFO) 全部的 POSIX 系统, Windows；

消息队列(Message queue) 多数操做系统；

信号量(Semaphore) 全部的 POSIX 系统, Windows；

共享内存 全部的 POSIX 系统, Windows。

2、并行和并发

经过进程之间的调度，也就是进程之间的切换，咱们用户感知到的好像是两个视频文件同时在播放，或者音乐和游戏同时在进行，那就让咱们来看一下什么叫作并发和并行。不管是并行仍是并发，在用户看来都是'同时'运行的，无论是进程仍是线程，都只是一个任务而已，真是干活的是cpu，cpu来作这些任务，而一个cpu同一时刻只能执行一个任务。

并发：是伪并行，即看起来是同时运行。单个cpu+多道技术就能够实现并发，（并行也属于并发）

你是一个cpu，你同时谈了三个女友，每个均可以是一个恋爱任务，你被这三个任务共享要玩出并发恋爱的效果：
应该是你先跟女朋友1去看电影，看了一会说：很差，我要拉肚子，而后跑去跟第二个女朋友吃饭，吃了一会说：那啥，我去趟洗手间，而后跑去跟女朋友3开了个房，而后在你的基友眼里，你就在和三个女朋友同时在一块儿玩。

并行：同时运行，只有具有多个cpu才能实现并行

将多个cpu合并成高速公路上的多个车道，进程就比如每一个车道上行驶的车辆，并行就是说，你们在本身的车道上行驶，会不影响，同时在开车。这就是并行

单核下，能够利用多道技术，多个核，每一个核也均可以利用多道技术（多道技术是针对单核而言的）。
有四个核，六个任务，这样同一时间有四个任务被执行，假设分别被分配给了cpu1，cpu2，cpu3，cpu4，
一旦任务1遇到I/O就被迫中断执行，此时任务5就拿到cpu1的时间片去执行，这就是单核下的多道技术
而一旦任务1的I/O结束了，操做系统会从新调用它(需知进程的调度、分配给哪一个cpu运行，由操做系统说了算)，可能被分配给四个cpu中的任意一个去执行

多道技术概念回顾：
- 内存中同时存入多道（多个）程序，cpu从一个进程快速切换到另一个，使每一个进程各自运行几十或几百毫秒，这样，虽然在某一个瞬间，一个cpu只能执行一个任务，但在1秒内，cpu却能够运行多个进程，这就给人产生了并行的错觉，即伪并行，以此来区分多处理器操做系统的真正硬件并行（多个cpu共享同一个物理内存）

1.并发并行
    并发 是同一时间段内多个任务交替使用同一个cpu
    并行 是在同一个时刻多个任务在不一样的cpu上同时执行
2.同步异步
    同步 发布一个任务,要等待这个任务结束以后才能继续
    异步 发布一个任务,不等待这个任务的结束就能够继续执行当前的内容
3.阻塞非阻塞
    阻塞 : 在当前任务中cpu不工做
    非阻塞 : cpu还在继续为当前程序在执行
    
同步阻塞/同步非阻塞/异步阻塞/异步非阻塞

进程和程序
    进程就是运行中的程序
    每个进程在计算机中都有一个惟一的进程id,pid  process id
进程  是计算机中资源分配的最小单位
    三状态 : 就绪 运行 阻塞
线程  是计算机中可以被CPU调度的最小单位
    是进程中的一个单位,它不能独立存在

并发：全部的并发处理都有排队等候，唤醒，执行至少三个这样的步骤.因此并发确定是宏观概念，在微观上他们都是序列被处理的，只不过资源不会在某一个上被阻塞(通常是经过时间片轮转)，因此在宏观上看多个几乎同时到达的请求同时在被处理。若是是同一时刻到达的请求也会根据优先级的不一样，而前后进入队列排队等候执行。
并发的实质是一个物理CPU(也能够多个物理CPU) 在若干道程序之间多路复用，并发性是对有限物理资源强制行使多用户共享以提升效率。并行性指两个或两个以上事件或活动在同一时刻发生。在多道程序环境下，并行性使多个程序同一时刻可在不一样CPU上同时执行。
- 并发：是在同一个cpu上同时（不是真正的同时，而是看来是同时，由于cpu要在多个程序间切换）运行多个程序，多道技术
- 并行，是每一个cpu运行一个程序

3、进程状态介绍

在程序运行的过程当中，因为被操做系统的调度算法控制，程序会进入几个状态：就绪，运行和阻塞。
- 就绪(Ready)状态：当进程已分配到除CPU之外的全部必要的资源，只要得到处理机即可当即执行，这时的进程状态称为就绪状态。
- 执行/运行（Running）状态当进程已得到处理机，其程序正在处理机上执行，此时的进程状态称为执行状态。
- 阻塞(Blocked)状态正在执行的进程，因为等待某个事件发生而没法执行时，便放弃处理机而处于阻塞状态。引发进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能知足、等待信件(信号)等。
  - 事件请求：input、sleep、文件输入输出、recv、accept等
    
    事件发生：sleep、input等完成了
  - 时间片到了以后有回到就绪状态，这三个状态不断的在转换

4、阻塞和非阻塞

阻塞：就是干不完不许回来，
非阻塞：就是你先干，我现看看有其余事没有，完了告诉我一声
咱们拿最经常使用的send和recv两个函数来讲吧... 好比你调用send函数发送必定的Byte,在系统内部send作的工做其实只是把数据传输(Copy)到TCP/IP协议栈的输出缓冲区,它执行成功并不表明数据已经成功的发送出去了,若是TCP/IP协议栈没有足够的可用缓冲区来保存你Copy过来的数据的话...这时候就体现出阻塞和非阻塞的不一样之处了:对于阻塞模式的socket send函数将不返回直到系统缓冲区有足够的空间把你要发送的数据Copy过去之后才返回,而对于非阻塞的socket来讲send会当即返回WSAEWOULDDBLOCK告诉调用者说:"发送操做被阻塞了!!!你想办法处理吧..." 对于recv函数,一样道理,该函数的内部工做机制实际上是在等待TCP/IP协议栈的接收缓冲区通知它说:嗨,你的数据来了.对于阻塞模式的socket来讲若是TCP/IP协议栈的接收缓冲区没有通知一个结果给它它就一直不返回:耗费着系统资源....对于非阻塞模式的socket该函数会立刻返回,而后告诉你:WSAEWOULDDBLOCK---"如今没有数据,回头在来看看"

5、同步和异步

所谓同步，就是在发出一个功能调用时，在没有获得结果以前，该调用就不返回。按照这个定义，其实绝大多数函数都是同步调用（例如sin, isdigit等）。可是通常而言，咱们在说同步、异步的时候，特指那些须要其余部件协做或者须要必定时间完成的任务。最多见的例子就是 SendMessage。该函数发送一个消息给某个窗口，在对方处理完消息以前，这个函数不返回。当对方处理完毕之后，该函数才把消息处理函数所返回的 LRESULT值返回给调用者。
异步的概念和同步相对。当一个异步过程调用发出后，调用者不能马上获得结果。实际处理这个调用的部件在完成后，经过状态、通知和回调来通知调用者。以 CAsycSocket类为例（注意，CSocket从CAsyncSocket派生，可是起功能已经由异步转化为同步），当一个客户端经过调用 Connect函数发出一个链接请求后，调用者线程马上能够向下运行。当链接真正创建起来之后，socket底层会发送一个消息通知该对象。这里提到执行部件和调用者经过三种途径返回结果：状态、通知和回调。可使用哪种依赖于执行部件的实现，除非执行部件提供多种选择，不然不受调用者控制。若是执行部件用状态来通知，那么调用者就须要每隔必定时间检查一次，效率就很低（有些初学多线程编程的人，总喜欢用一个循环去检查某个变量的值，这实际上是一种很严重的错误）。若是是使用通知的方式，效率则很高，由于执行部件几乎不须要作额外的操做。至于回调函数，其实和通知没太多区别。

6、同步/异步与堵塞/非堵塞

一、同步阻塞形式：效率最低。用例子来讲，去排队打饭，你专心排队什么别的事都不作。（cpu停滞）
二、异步阻塞形式：异步操做是能够被阻塞住的，只不过它不是在处理消息时阻塞，而是在等待消息通知时被阻塞。也就是说，能够异步处理程序，一直往下走，遇到函数也往里走，直到碰见io操做。就比如：你是个大boss很忙，你不可能在一个小业务上花时间，你把小人物安排给某个职员，当碰见须要你签字的时候，他就回来找你"大佬这里须要你签个字……"
同步非阻塞形式：其实是效率低下的，就好比说：你在排队打饭，可是你很想快点打到饭（cpu未中止工做），跺脚。
异步非阻塞形式：效率更高，就比如，你付了钱，店家给你小票，你能够去座位上作本身的事，作好了叫你。

7、进程和线程

一个程序中至少有一个进程，而一个进程中至少有一个线程

进程是运行中的程序，线程是进程内部的一个执行序列
进程是资源分配的单元，线程是执行单元
进程间切换代价大，线程间切换代价小
进程拥有的资源多，线程拥有的资源少

多个线程共享进程的资源

工厂的资源 -> 系统分配的内存（独立的一块内存）

工厂之间的相互独立 -> 进程之间相互独立

多个工人协做完成任务 -> 多个线程在进程中协做完成任务

工厂内有一个或多个工人 -> 一个进程由一个或多个线程组成

工人之间共享空间 -> 同一进程下的各个线程之间共享程序的内存空间（包括代码段、数据集、堆等）

不管是线程仍是进程，使用的都是同步进制，当发生阻塞时，性能会大幅度下降，没法充分利用CPU潜力，浪费硬件投资，更重要形成软件模块的铁板化，紧耦合，没法切割，不利于往后扩展和变化。

无论是进程仍是线程，每次阻塞、切换都须要陷入系统调用(system call)，先让CPU跑操做系统的调度程序，而后再由调度程序决定该跑哪个进程(线程)。多个线程之间在一些访问互斥的代码时还须要加上锁，现下流行的异步server都是基于事件驱动的（如nginx）。

　　异步事件驱动模型中，把会致使阻塞的操做转化为一个异步操做，主线程负责发起这个异步操做，并处理这个异步操做的结果。因为全部阻塞的操做都转化为异步操做，理论上主线程的大部分时间都是在处理实际的计算任务，少了多线程的调度时间，因此这种模型的性能一般会比较好。

8、进程的建立、结束与并发的实现

有些操做系统功能比较单一，可是电脑的操做系统必须适用于多应用程序，须要有系统运行过程当中建立和撤销的能力：
建立新程序的方法：
- 一、系统初始化（查看进程linux中用ps命令，windows中用任务管理器，前台进程负责与用户交互，后台运行的进程与用户无关，运行在后台而且只在须要时才唤醒的进程，称为守护进程，如电子邮件、web页面、新闻、打印）
- 一个进程在运行过程当中开启了子进程（如nginx开启多进程，os.fork,subprocess.Popen等
- 用户的交互式请求，而建立一个新进程（如用户双击暴风影音）
- 一个批处理做业的初始化（只在大型机的批处理系统中应用）
不管哪种，新进程的建立都是由一个已经存在的进程执行了一个用于建立进程的系统调用而建立的
- 关于建立的子进程，UNIX和windows
  
  1.相同的是：进程建立后，父进程和子进程有各自不一样的地址空间（多道技术要求物理层面实现进程之间内存的隔离），任何一个进程的在其地址空间中的修改都不会影响到另一个进程。
  
  　2.不一样的是：在UNIX中，子进程的初始地址空间是父进程的一个副本，提示：子进程和父进程是能够有只读的共享内存区的。可是对于windows系统来讲，从一开始父进程与子进程的地址空间就是不一样的。
进程的结束：
- 1. 正常退出（自愿，如用户点击交互式页面的叉号，或程序执行完毕调用发起系统调用正常退出，在linux中用exit，在windows中用ExitProcess）
  2. 出错退出（自愿，python a.py中a.py不存在）
  3. 严重错误（非自愿，执行非法指令，如引用不存在的内存，1/0等，能够捕捉异常，try...except...）
  4. 被其余进程杀死（非自愿，如kill -9）
进程并发的实现：进程并发的实如今于，硬件中断一个正在运行的进程，把此时进程运行的全部状态保存下来，为此，操做系统维护一张表格，即进程表（process table），每一个进程占用一个进程表项（这些表项也称为进程控制块）、

该表存放了进程状态的重要信息：程序计数器、堆栈指针、内存分配情况、全部打开文件的状态、账号和调度信息，以及其余在进程由运行态转为就绪态或阻塞态时，必须保存的信息，从而保证该进程在再次启动时，就像从未被中断过同样。（时间片轮转）