并发编程之进程1

时间 2019-11-30

标签并发编程进程繁體版

原文原文链接

什么是进程？linux

进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操做系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。算法

狭义定义：进程是正在运行的程序的实例（an instance of a computer program that is being executed）。

广义定义：进程是一个具备必定独立功能的程序关于某个数据集合的一次运行活动。

第一，进程是一个实体。每个进程都有它本身的地址空间，通常状况下，包括文本区域（text region）、数据区域（data region）
和堆栈（stack region）。文本区域存储处理器执行的代码；数据区域存储变量和进程执行期间使用的动态分配的内存；堆栈区域存储着活动过程调用的指令和本地变量。
第二，进程是一个“执行中的程序”。程序是一个没有生命的实体，只有处理器赋予程序生命时（操做系统执行之），它才能成为一个活动的实体，咱们称其为进程。[3] 
进程是操做系统中最基本、重要的概念。是多道程序系统出现后，为了刻画系统内部出现的动态状况，描述系统内部各道程序的活动规律引进的一个概念,
全部多道程序设计操做系统都创建在进程的基础上。

从理论角度看，是对正在运行的程序过程的抽象；
从实现角度看，是一种数据结构，目的在于清晰地刻画动态系统的内在规律，有效管理和调度进入计算机系统主存储器运行的程序。

动态性：进程的实质是程序在多道程序系统中的一次执行过程，进程是动态产生，动态消亡的。
并发性：任何进程均可以同其余进程一块儿并发执行
独立性：进程是一个能独立运行的基本单位，同时也是系统分配资源和调度的独立单位；
异步性：因为进程间的相互制约，使进程具备执行的间断性，即进程按各自独立的、不可预知的速度向前推动
结构特征：进程由程序、数据和进程控制块三部分组成。
多个不一样的进程能够包含相同的程序：一个程序在不一样的数据集里就构成不一样的进程，能获得不一样的结果；可是执行过程当中，程序不能发生改变。

程序是指令和数据的有序集合，其自己没有任何运行的含义，是一个静态的概念。
而进程是程序在处理机上的一次执行过程，它是一个动态的概念。
程序能够做为一种软件资料长期存在，而进程是有必定生命期的。
程序是永久的，进程是暂时的。

注意：同一个程序执行两次，就会在操做系统中出现两个进程，因此咱们能够同时运行一个软件，分别作不一样的事情也不会混乱。json

在采用多级反馈队列调度算法的系统中，调度算法的实施过程以下所述。

  (1) 应设置多个就绪队列，并为各个队列赋予不一样的优先级。第一个队列的优先级最高，第二个队列次之，
其他各队列的优先权逐个下降。该算法赋予各个队列中进程执行时间片的大小也各不相同，在优先权愈高的队列中，
为每一个进程所规定的执行时间片就愈小。例如，第二个队列的时间片要比第一个队列的时间片长一倍，……，第i+1个
队列的时间片要比第i个队列的时间片长一倍。
  (2) 当一个新进程进入内存后，首先将它放入第一队列的末尾，按FCFS原则排队等待调度。当轮到该进程执行时，
如它能在该时间片内完成，即可准备撤离系统；若是它在一个时间片结束时还没有完成，调度程序便将该进程转入第二队
列的末尾，再一样地按FCFS原则等待调度执行；若是它在第二队列中运行一个时间片后仍未完成，再依次将它放入第三
队列，……，如此下去，当一个长做业(进程)从第一队列依次降到第n队列后，在第n 队列便采起按时间片轮转的方式运
行。

  (3) 仅当第一队列空闲时，调度程序才调度第二队列中的进程运行；仅当第1～(i-1)队列均空时，才会调度第i队列中
的进程运行。若是处理机正在第i队列中为某进程服务时，又有新进程进入优先权较高的队列(第1～(i-1)中的任何一个
队列)，则此时新进程将抢占正在运行进程的处理机，即由调度程序把正在运行的进程放回到第i队列的末尾，把处理机分
配给新到的高优先权进程。

进程的并行与并发

并行 :是指一个时间段内，有几个程序都在几个CPU上运行，任意一个时刻点上，有多个程序在同时运行，而且多道程序之间互不干扰。（资源够用，好比三个线程，四核的CPU ）安全

并发 : 是指一个时间段内，有几个程序都在同一个CPU上运行，但任意一个时刻点上只有一个程序在处理机上运行，并发是指资源有限的状况下，二者交替轮流使用资源。服务器

区别:网络

并行是从微观上，也就是在一个精确的时间片刻，有不一样的程序在执行，这就要求必须有多个处理器。
并发是从宏观上，在一个时间段上能够看出是同时执行的，好比一个服务器同时处理多个session。session

同步阻塞与非阻塞数据结构

　　在了解其余概念以前，咱们首先要了解进程的几个状态。在程序运行的过程当中，因为被操做系统的调度算法控制，程序会进入几个状态：就绪，运行和阻塞。并发

　　（1）就绪(Ready)状态app

　　当进程已分配到除CPU之外的全部必要的资源，只要得到处理机即可当即执行，这时的进程状态称为就绪状态。

　　（2）执行/运行（Running）状态当进程已得到处理机，其程序正在处理机上执行，此时的进程状态称为执行状态。

　　（3）阻塞(Blocked)状态正在执行的进程，因为等待某个事件发生而没法执行时，便放弃处理机而处于阻塞状态。引发进程阻塞的事件可有多种，例如，等待I/O完成、申请缓冲区不能知足、等待信件(信号)等。

process模块介绍

process模块是一个建立进程的模块，借助这个模块，就能够完成进程的建立。

Process([group [, target [, name [, args [, kwargs]]]]])，由该类实例化获得的对象，表示一个子进程中的任务（还没有启动）

强调：
1. 须要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数，是一个元组形式，必须有逗号

参数介绍：
1 group参数未使用，值始终为None
2 target表示调用对象，即子进程要执行的任务
3 args表示调用对象的位置参数元组，args=(1,2,'egon',)
4 kwargs表示调用对象的字典,kwargs={'name':'egon','age':18}
5 name为子进程的名称

1 p.start()：启动进程，并调用该子进程中的p.run() 
2 p.run():进程启动时运行的方法，正是它去调用target指定的函数，咱们自定义类的类中必定要实现该方法  
3 p.terminate():强制终止进程p，不会进行任何清理操做，若是p建立了子进程，该子进程就成了僵尸进程，使用该方法须要特别当心这种状况。
若是p还保存了一个锁那么也将不会被释放，进而致使死锁
4 p.is_alive():若是p仍然运行，返回True
5 p.join([timeout]):主线程等待p终止（强调：是主线程处于等的状态，而p是处于运行的状态）。timeout是可选的超时时间，须要强调的是，
p.join只能join住start开启的进程，而不能join住run开启的进程

1 p.daemon：默认值为False，若是设为True，表明p为后台运行的守护进程，当p的父进程终止时，p也随之终止，而且设定为True后，p不能建立自
己的新进程，必须在p.start()以前设置
2 p.name:进程的名称
3 p.pid：进程的pid
4 p.exitcode:进程在运行时为None、若是为–N，表示被信号N结束(了解便可)
5 p.authkey:进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。这个键的用途是为涉及网络链接的底层进程间通讯提供安全性
，这类链接只有在具备相同的身份验证键时才能成功（了解便可）

在Windows操做系统中因为没有fork(linux操做系统中建立进程的机制)，在建立子进程的时候会自动 import 启动它的这个文件，而在 import 的时
候又执行了整个文件。所以若是将process()直接写在文件中就会无限递归建立子进程报错。因此必须把建立子进程的部分使用if __name__ ==‘__main__’ 判断
保护起来，import 的时候  ，就不会递归运行了。

multiprocessing模块建立进程的方式1：

from multiprocessing  import Process
import time
def test(name):
    print('你是叫%s是吧'%name)
    print("这是子进程")
if __name__ == '__main__':
    p=Process(target=test,args=('xiaohong',))   #建立一个进程对象
    p.start() #告诉操做系统帮你建立一个进程,至于何时建立，怎么创，由操做系统随机决定
    #time.sleep(0.1)
    print('我是....')
    '''
    为什么先运行start下面的print，再运行子进程？
    由于在运行到start（）时，会在内存中申请一块空间，而后运行.py文件，将代码丢到内存空间里面，这时子进程才建立好，
    这时建立进程的时间远远大于执行start下面print代码的时间，顾先打印“我是子进程”
    进程与进程之间数据是隔离的，没法直接交互，能够经过某些技术实现间接交互。
若是在start下方加上睡眠时间，则子进程先启动，0.1秒的时间足够操做系统建立子进程，让CPU读取子进程中动态运行的代码

=========
我是....
你是叫xiaohong是吧
这是子进程

multiprocessing模块建立进程的方式2：

'''
自定义的类体中必需要有run方法，才能建立出来一个子进程，其内部函数体代码才能运行，其余函数则运行不了
'''

import time
from multiprocessing import Process

class MyProcess(Process):

    def __init__(self,name):
        super().__init__()
        self.name=name

    def run(self):  #必须是run方法，否则建立不了子进程，其余方法就只能是一个静态实体，并不能运行

        print('%s is running'%self.name)
        time.sleep(3)
        print('%s is overing'%self.name)

if __name__ == '__main__':

    p=MyProcess('zhenhua')
    p.start()
    print('一个py文件就是一个主进程')

=====
一个py文件就是一个主进程
zhenhua is running
zhenhua is overing

进程的join方法：p.join（）可使主进程处于等待状态，待子进程运行完毕，再启动主进程。

进程中的join方法1：

在这里首先说明一下，Process在同时建立多个子进程的时候，同时各启动子进程，各子进程、主进程是各自隔离运行的，数据不共享，运行也互不干扰，至于操做系统先建立哪一个子进程，由操做系统决定，因此不是按照咱们书写代码的顺序去建立

from multiprocessing import  Process
import time

def test(name):

    print('%s is running'%name)
    time.sleep(2)
    print('%s is overing'%name)

if __name__ == '__main__':
    p=Process(target=test,args=('king',))
    p1=Process(target=test,args=('queen',))
    p2=Process(target=test,args=('hero',))
    p.start()
    p1.start()
    p2.start() #CPU读取的速度肯快，操做系统至关于同时受到三个建立命令，三个子进程的建立顺序及建立时间是操做系统随机决定的，
    p.join()  #join 可让主进程暂停运行，等待子进程运行结束才继续运行
    #p.join()
    print('啥时间运行我呢？')

======
queen is running
king is running
hero is running
queen is overing
king is overing
hero is overing
啥时间运行我呢？

进程中的join方法2：

from multiprocessing import  Process
import time

def test(name,i):

    print('%s is running'%name)
    time.sleep(2)
    print('%s is overing'%name)

if __name__ == '__main__':
    for i in range(3):
        p=Process(target=test,args=('进程%s'%i,i))
        p.start()
        p.join()  #join 可让主进程暂停运行，等待子进程运行结束才继续运行

        print('啥时间运行我呢？')


========
进程0 is running
进程0 is overing
啥时间运行我呢？
进程1 is running
进程1 is overing
啥时间运行我呢？
进程2 is running
进程2 is overing
啥时间运行我呢？

进程中的join方法3：

from multiprocessing import Process
import time
def test(name,i):
    print('%s is runing'%name)
    time.sleep(i)
    print('%s is overing'%name)
if __name__ == '__main__':
    start = time.time()
    p_list=[]
    for i in range(1,4):
        p=Process(target=test,args=('子进程%s'%i,i ))
        p_list.append(p)
        p.start()

    for p in p_list:
        p.join()
    print('主', (time.time() - start))

=====
子进程3 is runing
子进程1 is runing
子进程2 is runing
子进程1 is overing
子进程2 is overing
子进程3 is overing
主 3.1881821155548096

各进程之间启动是隔离的

from multiprocessing import Process
'''

'''

money=100
def test():
    global money
    money=888


if __name__ == '__main__':
    p=Process(target=test)
    p.start()
    p.join()
    print(money)
'''
经过添加join让子进程先运行结束，再继续运行父进程，发现money的值还
是100,global并无修改父进程中的money，而是修改本身内存中的money
'''

=====
100

from multiprocessing import Process,current_process

import time
import os
def func(i):
    print(f'子进程{i}的父进程进程号：{os.getppid()}，子进程{i}的进程号是：{current_process().pid}')

    time.sleep(2)

if __name__ == '__main__':
   for i in range(1,5):
        p = Process(target=func,args=(i,))
        p.start()
        # p.join()
        # p.terminate()  # 截断进程，其上不能再用join（）方法，这样已经达到让子进程先运行的效果了，就没法用terminate阻断子进程了。
        
        # print(p.is_alive())

   print(f'主进程进程号是：{current_process().pid},主进程的父进程是{os.getppid()}')


'''
主进程进程号是：6964,主进程的父进程是2944
子进程2的父进程进程号：6964，子进程2的进程号是：5872
子进程3的父进程进程号：6964，子进程3的进程号是：6772
子进程4的父进程进程号：6964，子进程4的进程号是：1836
子进程1的父进程进程号：6964，子进程1的进程号是：6656
'''
说明：进程的建立须要由操做系统来决定，建立进程须要须要从新开辟内存空间，把要运行的代码复制进去，
把运行过程当中产生的名字放到名称空间，消耗资源；每开辟一个进程，就要开辟一块新的内存空间，开辟进
程的的所需时间远远大于主进程（一个.py文件中的代码）代码运行时间，因此，永远先运行的都是主进程
中的代码，除非使用join或者设置睡眠时间；建立的歌子进程之间以及主进程之间都是隔离的，互补交涉，
因此是并发运行的，运行时间2s多一点。

进程对象及其余方法：

current_process.pid(）查看当前（子/主）进程号
os.getpid()查看当前（子/主）进程号

os.getppid()查看当前进程的上一级进程号

from multiprocessing import Process,current_process

import time
import os
def func(i):
    print(f'子进程{i}的父进程进程号：{os.getppid()}，子进程{i}的进程号是：{current_process().pid}')

    time.sleep(60)

if __name__ == '__main__':
   for i in range(1,5):
        p = Process(target=func,args=(i,))
        p.start()
 
   print(f'主进程进程号是：{current_process().pid},主进程的父进程是{os.getppid()}')

'''
主进程进程号是：5816,主进程的父进程是2944
子进程3的父进程进程号：5816，子进程3的进程号是：4020
子进程4的父进程进程号：5816，子进程4的进程号是：5204
子进程1的父进程进程号：5816，子进程1的进程号是：6148
子进程2的父进程进程号：5816，子进程2的进程号是：6316
'''
'''
无论是主进程仍是子进程，或是子进程的父进程的进程号都是运行Python解释器（进程），主进程（Python解释器）的父进程是pycharm

僵尸进程
　　　　子进程是由主进程建立的，主进程先死，子进程死了以后所占用的PID及其余资源没有被主进程回收，这个子进程就步入了僵尸进程；全部的进程最终都会步入到僵尸进程。

　　　　僵尸进程带来的缺点：操做系统所给的进程号是有限的，若是僵尸进程过多，将致使过多的PID被占用（没有回收），致使后期再启程序会受到阻碍。

　　父进程回收子进程资源的两种方式：

　　　　1）使用join方法，让子进程先死，这样主进程就能够回收子进程的进程号；据说调用一个叫wait的方法。

　　　　2）父进程正常死亡（父进程等子进程死亡本身也死了）

孤儿进程：子进程没死，父进程意外死亡；

　　　　针对Linux会有儿童福利院（init），若是父进程意外死亡，他们所建立的子进程都会被福利院收养。孤儿进程是无害的，由于他的进程号会被福利院回收。

from multiprocessing import Process,current_process
import os
import time
def test(name):
    print('%s is running'%name,current_process().pid,'父进程PID:%s'%os.getppid()) #查看子进程号
    time.sleep(3)
    print('%s is overing'%name)
if __name__ == '__main__':
    p=Process(target=test,args=('egon',))  #args括号内逗号必需要加上，否则会报错
    p.start()
    '''
    p.terminate()  #杀死进程,告诉操做系统，至于操做系统何时杀由他决定，
    可是代码执行的速度比操做系统反应快，因此颇有可能，在进程还没杀死以前代码运行结束，
    is_live的返回值是True,咱们能够经过在terminate以后加上time.sleep（）稍微睡眠一下，
   '''
    p.terminate()
    time.sleep(0.1)
    print(p.is_alive() ) #判断进程是否被杀死，返回的是bool值TRUE、False
    print('主进程号：%s'%current_process().pid,'主主进程PID：%s'%os.getppid())  #查看主进程号

========

False
主进程号：7332 主主进程PID：3924

守护进程：其本质就是一个子进程“”，该子进程的生命周期<=被守护进程的生命周期，只要主进程一旦结束，子进程不管有没有结束，都要跟着一块儿死。

#守护进程: 本质就是一个"子进程",该"子进程"的生命周期<=被守护进程的生命周期
from multiprocessing import Process
import time

def task(name):
    print('老太监%s活着....' %name)
    time.sleep(3)
    print('老太监%s正常死亡....' %name)

if __name__ == '__main__':
    p=Process(target=task,args=('刘清政',))
    p.daemon=True  #守护进程要在start以前设置，告诉操做系统该进程是守护进程；在start以后设置就会报错
    p.start()
    time.sleep(1)
    print('皇上:EGON正在死...')


=======
老太监刘清政活着....
皇上:EGON正在死...

互斥锁：

当多个进程操做同一份数据的时候会形成数据的错乱，这个时候必须加锁处理，这样将并发变成串行，虽然下降了效率可是提升了数据的安全，

注意:
1.锁不要轻易使用容易形成死锁现象
2.只在处理数据的部分加锁不要在全局加锁

3.锁必须在主进程中产生交给子进程去使用

如下依抢票为例：

进程之间数据不共享,可是共享同一套文件系统,因此访问同一个文件,或同一个打印终端,是没有问题的,

而共享带来的是竞争，竞争带来的结果就是错乱，如何控制，就是加锁处理

'''
0.000几秒for循环就已经已经结束了，此时操做系统或许连一个进程都尚未建立，当第一个进程建立好以后
运行search函数，在睡眠一秒的时候，全部的进程都起来了，也都在这里睡眠，第一我的查看到余票还有1张，别的其余人查看余票也是1张
以后都到了买票的环节，此时票数是1，你们都对字典的一进行修改，致使全部人都买票成功，但实际只有一张票
这里使用互斥锁，将这种并发问题变成串行来解决，在一我的在作操做的时候其余人都不能作操做，其余人作操做是基于前一我的作完操做以后再继续
互斥锁把并发（并发效率高于串行）变成串行，牺牲效率，但保证数据安全了
方法一：使用join，这种方法，一次只能启动一个进程，只有进程1启动了，进程1 抢票成功，这样数据安全了，可是永远只有进程1
抢票成功，也是不合理的。
方法二：导入lock
'''

import time ,json,random
from multiprocessing import Process,Lock

def search(name):
     with open(r'xxx.json','rt',encoding='utf-8')as f:
         dic=json.load(f)
     time.sleep(1)
     print('%s查询余票为%s'%(name,dic['count']))

def buy(name):

    with open(r'xxx.json','rt',encoding='utf_8') as f:
        dic=json.load(f)

        if dic['count']>0:
            dic['count']-=1
            time.sleep(random.randint(1, 2))
            with open(r'xxx.json', 'wt', encoding='utf-8')as f:
                json.dump(dic, f)
                print('%s购票成功' % name)

        else:
            print('余票已经没了！')



def common(name,mutex):
    search(name)#这里应该变成并发,枷锁以后，好多人都阻塞到这里了

    mutex.acquire() #获取锁，且同一时间只有一人得到锁
    buy(name) #这里应该变成串行
    mutex.release() #释放锁，接下来的人继续抢锁

if __name__ == '__main__':
    mutex=Lock()
    for i in range(10):
        p=Process(target=common,args=('路人%s'%i,mutex))

        p.start()
       # p.join()

======
路人3查询余票为5
路人1查询余票为5
路人0查询余票为5
路人2查询余票为5
路人7查询余票为5
路人4查询余票为5
路人9查询余票为5
路人5查询余票为5
路人6查询余票为5
路人8查询余票为5
路人3购票成功
路人1购票成功
路人0购票成功
路人2购票成功
路人7购票成功
余票已经没了！
余票已经没了！
余票已经没了！
余票已经没了！
余票已经没了！

#加锁能够保证多个进程修改同一块数据时，同一时间只能有一个任务能够进行修改，即串行的修改，没错，速度是慢了，但牺牲了速度却保证了数据安全。
虽然能够用文件共享数据实现进程间通讯，但问题是：
1.效率低（共享数据基于文件，而文件是硬盘上的数据）
2.须要本身加锁处理



#所以咱们最好找寻一种解决方案可以兼顾：一、效率高（多个进程共享一块内存的数据）二、帮咱们处理好锁问题。这就是mutiprocessing模块为咱们提供的基于消息的IPC通讯机制：队列和管道。
1 队列和管道都是将数据存放于内存中
2 队列又是基于（管道+锁）实现的，可让咱们从复杂的锁问题中解脱出来，
咱们应该尽可能避免使用共享数据，尽量使用消息传递和队列，避免处理复杂的同步和锁问题，并且在进程数目增多时，每每能够得到更好的可获展性。