猪行天下之Python基础——9.1 Python多线程与多进程（上）

内容简述：

线程与进程的相关概念
 

• 一、程序，进程，线程，多进程，多线程
• 二、线程的生命周期
• 三、并行与并发，同步与异步
• 四、线程同步安全
• 五、与锁有关的特殊状况：死锁，饥饿与活锁
• 六、守护线程
• 七、线程并发的经典问题：生产中与消费者问题
• 八、Python中的GIL锁
• 九、Python中对多线程与多进程的支持

---

线程与进程的相关概念

关于线程和进程的话题，大部分的书只是微微提下，读者学完云里雾里，不知因此。本章会对Python中的多线程和多进程进行详解。大部分都是概念性的东西，不要去死记硬背，学完了解有个大概印象就好。

---

一、程序，进程，线程，多进程，多线程

关于程序，进程和线程的一些名词概念如图所示：

有句很是经典的话：“进程是资源分配的最小单位，线程则是CPU调度的最小单位”。

先说说「多进程」：从普通用户的视角：

若是你的电脑是Windows的话，Ctrl+Alt+Del打开任务管理器，能够看到电脑运行着不少的进程，好比QQ，微信，网易云音乐等。这就是多进程，每一个进程各司其职完成对应的功能，互不干扰，你聊天的时候音乐照常播放。

再说说开发仔的视角：

多进程的概念更倾向于：多个进程协同地区完成同一项工做。

问题：为何要在应用里使用多进程？

笔者观点：摆脱系统的一些限制和为本身的应用获取更多的资源，举个例子：
在Android系统中会为每一个应用(进程)限制最大内容，单个进程超过这个阈值会引发OOM，而使用多进程技术能够规避这个内存溢出的问题。再举个例子：Python在实现Python解析器(CPython)时引入了GIL锁，使得任什么时候候仅有
一个线程在执行，多线程的效率可能还比不上单线程，使用多进程技术能够
规避这个限制。

再说说「多线程」，首先为何会引入线程的概念呢？举个例子：

你有一个文本程序，三个功能组成部分：接收用户的输入，显示到屏幕上，保存到硬盘里，若是由三个进程组成：输入接收进程A，显示内容进程B，写入硬盘进程C，而他们之间共同须要拥有的东西——文本内容，而进程A，B，C运行在不一样的内存空间，这就涉及到进程通讯问题了，而频繁
的进程切换势必致使性能上的损失。有没有一种机制使得作这三个任务时共享资源呢？这个时候线程(轻量级的进程)就派上用场了，多个线程共享进程数据。相信读者看到这里，对于多进程和多线程
的概念应该有个初步的了解了，接下来简单比较下二者的优劣和使用场景：

对比内容	多进程	多线程
内存与CPU	内存占用多，切换复杂， CPU利用率低	内存占用少，切换简单， CPU利用率高
数据共享与同步	数据共享复杂，须要经过IPC， 由于数据是分开的，同步简单	共享进程数据，数据共享简单，但也由于 这个缘由致使同步复杂
建立销毁和切换	建立销毁和切换复杂，速度慢	建立销毁和切换简单，速度很快
编程和调试	编程简单，调试简单	编程复杂，调试复杂
可靠性	进程间不会互相影响	一个线程挂掉将致使整个进程挂掉
分布式	适应于多核、多机分布式；若是一台 机器不够，扩展到多台机器比较简单	适应于多核分布式

---

二、线程的生命周期

线程的生命周期如图所示：

各个状态说明：

• New(新建)，新建立的线程进过初始化，进入Runnable(就绪)状态。
• Runnable(就绪)，等待线程调度，调度后进入Running(运行)状态。
• Running(运行)，线程正常运行，期间可能会由于某些状况进入Blocked
  (同步锁；调用了sleep()和join()方法进入Sleeping状态；执行wait()方法进入
  Waiting状态，等待其余线程notify通知唤醒)。
• Blocked(堵塞)，线程暂停运行，解除堵塞后进入Runnable(就绪)状态从新等待调度。
• Dead(死亡)：线程完成了它的任务正常结束或因异常致使终止。

---

三、并行与并发，同步与异步

并行与并发的区别：

并行是同时处理多个任务，而并发则是处理多个任务，而不必定要同时，并行能够说是并发的子集。

同步与异步的区别：

• 同步：线程执行某个请求，若是该请求须要一段时间才能返回信息，那么这个线程
  会一直等待，直到收到返回信息才能继续执行下去。
• 异步：线程执行完某个请求，不须要一直等，直接继续执行后续操做，当有消息
  返回时系统会通知线程进程处理，这样能够提升执行的效率；异步在网络请求
  的应用很是常见。

---

四、线程同步安全

什么是线程同步安全问题？

当有两个或以上线程在同一时刻访问同一资源，可能会带来一些问题。
好比：数据库表不容许插入重复数据，而线程1,2都获得了数据X，而后线程1,2同时查询了数据库，发现没有数据X，接着两线程都往数据库中插入了X，而后就出现异常了，这就是线程的同步安全问题，而这里的数据库资源咱们又称为：临界资源(共享资源)。

如何解决同步安全问题(同步锁)？

当多个线程访问临界资源的时候，有可能会出现线程安全问题；而基本全部并发模式在解决线程安全问题时都采用"系列化访问临界资源"的方式，就是同一时刻，只能有一个线程访问临界资源，也称"同步互斥访问"。一般的操做就是加锁(同步锁)，当有线程访问临界资源时须要得到这个锁，其余线程没法访问，只能等待(堵塞)，等这个线程使用完释放锁，供其余线程继续访问。

---

五、与锁有关的特殊状况：死锁，饥饿与活锁

有了同步锁并不意味着就一了百了了，当多个进程/线程的操做涉及到了多个锁，
就可能出现下述三种状况：

• 死锁(DeadLock)

两个或以上进程(线程)在执行过程当中，因争夺资源而形成的一种互相等待的现象，若是无外力做用，他们将继续这样僵持下去。举个形象化的例子：

开一个门须要两条钥匙，而两我的手上各持有一条，而后都不肯意把本身的钥匙给对方，就一直那样僵持着，这种状态就叫死锁。

死锁发生的条件：

• 互斥条件(临界资源)；
• 请求和保持条件(请求资源但不释放本身暂用的资源)；
• 不剥夺条件(线程得到的资源只有线程使用完后本身释放，不能被其余线程剥夺)；
• 环路等待条件：在死锁发生时，必然存在一个“进程-资源环形链”，t1等t2，t2等t1；

如何避免死锁：

破坏四个条件中的一个或多个条件，常见的预防方法有以下两种：

① 有序资源分配法：资源按某种规则统一编号，申请时必须按照升序申请： 属于同一类的资源要一次申请完，申请不一样类资源按照必定的顺序申请。

② 银行家算法：就是检查申请者对资源的最大需求量，若是当前各种资源均可以知足的 申请者的请求，就知足申请者的请求，这样申请者就可很快完成其计算，而后释放它占用 的资源，从而保证了系统中的全部进程都能完成，因此可避免死锁的发生。 理论上可以很是有效的避免死锁，但从某种意义上说，缺少使用价值，由于不多有进程可以知道所需资源的最大值，并且进程数目也不是固定的，每每是不断变化的， 何况本来可用的资源也可能忽然间变得不可用(好比打印机损坏)。

• 2.饥饿(starvation)与饿死(starve to death)

资源分配策略有多是不公平的，即不能保证等待时间上界的存在，即便没有发生死锁， 某些进程可能因长时间的等待，对进程推动与相应带来明显影响，此时的进程就是 发生了进程饥饿(starvation)，当饥饿达到必定程度即便此时进程即便完成了任务也没有实际意义时，此时称该进程被饿死(starve to death)，举个典型的例子：文件打印采用短文件优先策略，若是短文件太多，长文件会一直推迟，那还打印个毛。

• 3.活锁(LiveLock)

特殊的饥饿，一系列进程轮询等待某个不可能为真的条件为真，此时进程不会进入blocked状态，但会占用CPU资源，活锁还有概率能本身解开，而死锁则没法本身解开。(例子：都以为对方优先级比本身高，相互谦让，致使没法使用某资源)，简单避免活锁的方法：先来先服务策略。

---

六、守护线程

又称「后台线程」，是一种为其余线程提供服务的线程，好比一个简单的例子：你有两个线程在协同的作一件事，若是有一个线程死掉，事情就没法继续下去，此时能够引入守护线程，轮询地去判断两个线程是否活着(调isAlive())，若是死掉就start开启线程，在Python中能够在线程初始化的时候调用setDaemon(True)把线程设置为守护线程，另外若是程序中只剩下守护线程的话程序会自动退出。

---

七、线程并发的经典问题：生产中与消费者问题

说到线程并发，不得不说的一个经典问题就是：生产中与消费者问题：

两个共享固定缓冲区大小的线程，生产者线程负责生产必定量的数据 放入缓冲区， 而消费者线程则负责消耗缓冲区中的数据，关键问题是须要保证两点：

• 缓冲区满的时候，生产者再也不往缓冲区中填充数据。
• 缓存区空的时候，消费者不在消耗缓冲区中的数据。

---

八、Python中的GIL锁

上面讲到Python在实现Python解析器(CPython)时引入了GIL锁，使得「任什么时候候仅有 一个线程在执行」，Python多线程的效率可能还比不上单线程，那么这个GIL锁是什么？

概念：全局解释器锁，用于同步线程的一种机制，使得任什么时候候仅有一个线程在执行。GIL 并非Python的特性，只是在实现Python解析器(CPython)时引入的一个概念。换句话说，Python彻底能够不依赖于GIL。Python解释器进程内的多线程是以协做多任务方式执行的，当一个线程遇到I/O操做时会释放GIL,而依赖CPU计算的线程则是执行代码量到必定的阀值，才会释放GIL。

而在Python 3.2开始使用新的GIL，使用固定的超时时间来指示当前线程放弃全局锁，就是：「当前线程持有这个锁，且其余线程请求这个锁时，当前线程就会在5毫秒后被强制释放掉该锁。」多线程在处理CPU密集型操做由于各类循环处理计数等，会很快达到阀值，而**多个线程来回切换是会消耗资源的，因此多线程的效率每每可能还比不上单线程！

而在多核CPU上效率会更低，由于多核环境下，持有锁的CPU释放锁后，其余CPU上的线程都会进行竞争，但GIL可能立刻又会被以前的CPU拿到拿到，致使其余几个CPU上被唤醒后的线程会醒着等待到切换时间后又进入待调度状态，从而形成 线程颠簸(thrashing)，致使效率更低。

问题：由于GIL锁的缘由，对于CPU密集型操做，Python多线程就是鸡肋了？

答：是的！尽管多线程开销小，但却没法利用多核优点！可使用多进程来规避这个问题，Python提供了multiprocessing这个跨平台的模块来帮助咱们实现多进程代码的编写。每一个进程都有本身独立的GIL，所以不会出现进程间GIL锁抢夺的问题，可是也增长程序实现线程间数据通信和同步时的成本，这个须要自行进行权衡。

---

九、Python中对多线程与多进程的支持

Python与线程，进程相关的官方文档连接：docs.python.org/3/library/c…

简单说下这些模块都是干吗的：

• threading—— 提供线程相关的操做。
• multiprocessing—— 提供进程程相关的操做。
• concurrent.futures—— 异步并发模块，实现多线程和多进程的异步并发(3.2后引入)。
• subprocess—— 建立子进程，并提供连接到他们输入/输出/错误管道的方法，并得到他们的返回码，该模块旨在替换几个较旧的模块和功能：os.system与os.spawn*。
• sched——任务调度(延时处理机制)。
• queue——提供同步的、线程安全的队列类。

还有几个是兼容模块，好比Python 2.x上用threading和Python 3.x上用thread：

• dummy_threading：提供和threading模块相同的接口，2.x使用threading兼容。
• _thread：threading模块的基础模块，应该尽可能使用 threading 模块替代。
• dummy_thread：提供和thread模块相同的接口，3.x使用threading兼容。