IO多路复用，SocketServer模块，twisted源码，线程进程协程的解释与方法。

时间 2019-11-24

标签多路 socketserver 模块 twisted 源码线程进程解释方法繁體版

原文原文链接

IO多路复用：python

　　　经过一种机制，能够监视多个描述符，一旦某个描述符就绪（通常是读就绪或者写就绪），可以通知程序进行相应的读写操做。程序员

　　　　Linux中的 select，poll，epoll 都是IO多路复用的机制。算法

　　　　select

　　　　select最先于1983年出如今4.2BSD中，它经过一个select()系统调用来监视多个文件描述符的数组，当select()返回后，该数组中就绪的文件描述符便会被内核修改标志位，使得进程能够得到这些文件描述符　　　　从而进行后续的读写操做。
　　　　select目前几乎在全部的平台上支持，其良好跨平台支持也是它的一个优势，事实上从如今看来，这也是它所剩很少的优势之一。
　　　　select的一个缺点在于单个进程可以监视的文件描述符的数量存在最大限制，在Linux上通常为1024，不过能够经过修改宏定义甚至从新编译内核的方式提高这一限制。
　　　　另外，select()所维护的存储大量文件描述符的数据结构，随着文件描述符数量的增大，其复制的开销也线性增加。同时，因为网络响应时间的延迟使得大量TCP链接处于非活跃状态，但调用select()会对全部　　　　socket进行一次线性扫描，因此这也浪费了必定的开销。

　　　　poll

　　　　poll在1986年诞生于System V Release 3，它和select在本质上没有多大差异，可是poll没有最大文件描述符数量的限制。
　　　　poll和select一样存在一个缺点就是，包含大量文件描述符的数组被总体复制于用户态和内核的地址空间之间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增长而线性增大。
　　　　另外，select()和poll()将就绪的文件描述符告诉进程后，若是进程没有对其进行IO操做，那么下次调用select()和poll()的时候将再次报告这些文件描述符，因此它们通常不会丢失就绪的消息，这种方式称为水　　　　平触发（Level Triggered）。

　　　　epoll

　　　　直到Linux2.6才出现了由内核直接支持的实现方法，那就是epoll，它几乎具有了以前所说的一切优势，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。
　　　　epoll能够同时支持水平触发和边缘触发（Edge Triggered，只告诉进程哪些文件描述符刚刚变为就绪状态，它只说一遍，若是咱们没有采起行动，那么它将不会再次告知，这种方式称为边缘触发），理论上边　　　　缘触发的性能要更高一些，可是代码实现至关复杂。
　　　　epoll一样只告知那些就绪的文件描述符，并且当咱们调用epoll_wait()得到就绪文件描述符时，返回的不是实际的描述符，而是一个表明就绪描述符数量的值，你只须要去epoll指定的一个数组中依次取得相应　　　　数量的文件描述符便可，这里也使用了内存映射（mmap）技术，这样便完全省掉了这些文件描述符在系统调用时复制的开销。
　　　　另外一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中，进程只有在调用必定的方法后，内核才对全部监视的文件描述符进行扫描，而epoll事先经过epoll_ctl()来注册一个文件描述符，一　　　　旦基于某个文件描述符就绪时，内核会采用相似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便获得通知。windows

Python中有一个select模块，其中提供了：select、poll、epoll三个方法，分别调用系统的 select，poll，epoll 从而实现IO多路复用。数组

　　　　（网络操做、文件操做、终端操做等均属于IO操做，对于windows只支持Socket操做，其余系统支持其余IO操做，可是没法检测普通文件操做自动上次读取是否已经变化。）网络

Python线程

Threading用于提供线程相关的操做，线程是应用程序中工做的最小单元。数据结构

 
         #!/usr/bin/env python 
        
         # -*- coding:utf-8 -*- 
        
         import  
         threading 
        
         import  
         time 
        
         def  
         show(arg): 
        
         time.sleep( 
         1 
         ) 
        
         print  
         'thread' 
         + 
         str 
         (arg) 
        
         for  
         i  
         in  
         range 
         ( 
         10 
         ): 
        
         t  
         =  
         threading.Thread(target 
         = 
         show, args 
         = 
         (i,)) 
        
         t.start() 
        
         print  
         'main thread stop'

上述代码建立了10个“前台”线程，而后控制器就交给了CPU，CPU根据指定算法进行调度，分片执行指令。多线程

更多方法：socket

start 线程准备就绪，等待CPU调度
setName 为线程设置名称
getName 获取线程名称
setDaemon 设置为后台线程或前台线程（默认）
若是是后台线程，主线程执行过程当中，后台线程也在进行，主线程执行完毕后，后台线程不论成功与否，均中止
若是是前台线程，主线程执行过程当中，前台线程也在进行，主线程执行完毕后，等待前台线程也执行完成后，程序中止
join 逐个执行每一个线程，执行完毕后继续往下执行，该方法使得多线程变得无心义
run 线程被cpu调度后执行Thread类对象的run方法

线程锁性能

因为线程之间是进行随机调度，而且每一个线程可能只执行n条执行以后，CPU接着执行其余线程。因此，可能出现以下问题：

Python 进程

 
         from  
         multiprocessing  
         import  
         Process 
        
         import  
         threading 
        
         import  
         time 
        
         def  
         foo(i): 
        
         print  
         'say hi' 
         ,i 
        
         for  
         i  
         in  
         range 
         ( 
         10 
         ): 
        
         p  
         =  
         Process(target 
         = 
         foo,args 
         = 
         (i,)) 
        
         p.start()

注意：因为进程之间的数据须要各自持有一份，因此建立进程须要的很是大的开销。

协程

线程和进程的操做是由程序触发系统接口，最后的执行者是系统；协程的操做则是程序员。

协程存在的意义：对于多线程应用，CPU经过切片的方式来切换线程间的执行，线程切换时须要耗时（保存状态，下次继续）。协程，则只使用一个线程，在一个线程中规定某个代码块执行顺序。

协程的适用场景：当程序中存在大量不须要CPU的操做时（IO），适用于协程；