select、poll、epoll

select,poll,epoll区别总结

  select,poll,epoll都是I/O多路复用。I/O多路复用就是经过一种机制，能够监测多个描述符，一旦某个描述就绪（通常是读或者写），可以通知程序进行相应的读写操做。但select、poll、epoll本质上都是同步I/O，由于他们都须要在读写事件就绪后本身负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需本身负责进行读写

，异步I/O的实现会负责把数据从内核拷贝到用户空间。

 

I/O多路复用之select总结

    I/O多路复用是指内核一旦发现进程指定的一个或者多个I/O条件准备读取，它就通知进程。适用于如下场合：

   一、当客户处理多个描述字时（通常是交互式输入和网络套接口），必须使用I/O复用。

　　 二、当一个客户同时处理多个套接口时，而这种状况是可能的，但不多出现。

　　 三、若是一个TCP服务器既要处理监听套接口，又要处理已链接套接口，通常也要用到I/O复用。

　　 四、若是一个服务器即要处理TCP，又要处理UDP，通常要使用I/O复用。

　　 五、若是一个服务器要处理多个服务或多个协议，通常要使用I/O复用。

   六、与多进程和多线程技术相比，I/O多路复用技术的最大优点是系统开销小，系统没必要建立进程/线程维护这些进程/线程，从而大大减小了系统的开销。

 

select的调用过程

 

 

 

 

一、使用copy_from_user从用户空间拷贝fd_set到内核空间

二、注册回调函数__pollwait

三、遍历全部fd，调用其对应的poll方法（对于socket，这个poll方法是sock_poll，sock_poll根据状况会调用到tcp_poll,udp_poll或者datagram_poll）

四、以tcp_poll为例，其核心实现就是__pollwait，也就是上面注册的回调函数。

五、__pollwait的主要工做就是把current（当前进程）挂到设备的等待队列中，不一样的设备有不一样的等待队列，对于tcp_poll来讲，其等待队列是sk->sk_sleep（注意把进程挂到等待队列中并不表明进程已经睡眠了）。在设备收到一条消息（网络设备）或填写完文件数据（磁盘设备）后，会唤醒设备等待队列上睡眠的进程，这时current便被唤醒了。

六、poll方法返回时会返回一个描述读写操做是否就绪的mask掩码，根据这个mask掩码给fd_set赋值。

七、若是遍历完全部的fd，尚未返回一个可读写的mask掩码，则会调用schedule_timeout是调用select的进程（也就是current）进入睡眠。当设备驱动发生自身资源可读写后，会唤醒其等待队列上睡眠的进程。若是超过必定的超时时间（schedule_timeout指定），仍是没人唤醒，则调用select的进程会从新被唤醒得到CPU，进而从新遍历fd，判断有没有就绪的fd。

八、把fd_set从内核空间拷贝到用户空间。

 

select的几大缺点：

一、每次调用select，都须要把fd集合从用户态拷贝到内核态，这个开销在fd不少时会很大。

二、同时每次调用select都须要在内核遍历传递进来的fd，这个开销在fd不少时也很大

三、select支持的文件描述符数量过小了，默认是1024

 

I/O多路复用之poll总结

 

poll的实现和select很是类似，只是描述fd集合的方式不一样，poll使用的是pollfd结构而不是select的fd_set结构，其余的都差很少，管理多个描述符也是进行轮询，根据描述符的状态进行处理，但poll没有最大文件描述符数量的限制。poll和select一样存在一个缺点就是，包含大量文件描述符的数组被总体复制于用户态和内核态的地址空间，而不论这些文件描述符是否就绪，它的开销随着文件描述符数量的增长而线性增大。

 

I/O多路复用之epoll总结

一、mmap

    mmap系统调用并非为了共享内存而设计的，它提供了不一样于通常对普通文件的访问方式，进程能够像都内存同样对普通文件操做。

    mmap系统调用使得进程之间经过映射同一个普通的文件实现共享。普通文件被映射到进程地址空间后，进程能够像访问普通内存同样对文件进行访问，没必要再调用read()/write()等操做

    mmap并不分配空间，只是将文件映射到嗲用进程的地址空间（占用虚拟地址空间），而后就可使用memcpy()等操做，内存中文件并不当即更新到文件中，而是由一段时间的延迟，可使用msync（）显式的同步。

优势：

1.一、提高效率

        通常写文件须要用open 、read、write，须要将磁盘文件读取到内核的cache缓冲区，而后再拷贝到用户内空间内存，涉及两次的读写。

    mmap经过将磁盘文件映射到用户空间，当进程读文件时，发生缺页中断，给虚拟内存分配物理内存，在经过磁盘调页操做将磁盘数据读到物理内存上面，实现了用户空间数据的读取，整个过程只有一次内存的拷贝。

1.2、用于进程间大量的数据通讯

   两个进程映射同一个文件，在两个进程中，同一个文件去映射的虚拟地址空间不一样。一个进程操做文件时，先经过缺页获取物理地址。进而经过磁盘文件调页操做将文件读入到内存。

   另外一个进程访问文件的时候，发现没有物理页面映射到虚拟内存，经过FS的缺页处理查找cache区是否有读入磁盘文件，有的话创建映射关系，这两个进程经过共享内存就能够进行通信了。

   mmap把文件映射到内存空间中，简单的说mmap就是把一个文件的内容作一个映射。映成功后，用户对这段内存区域的修改就能够直接反应到内核空间，一样内核空间对这段区域的修改也能够直接反应到用户的空间。那么对与内核空间------用户空间二者之间须要大量数据传输等操做的话效率是很是高的。

   mmap并不分配内存空间，只是将文件映射到调用进程的地址空间里（可是会占用你的virutal memory），而后你就能够用memery等操做写文件，而不用write()了。写完后，内存中的文件不会当即更新到文件中，而是有一段时间的延迟，可使用msync()来显式同步一下，这样你所写的内容就能立马保存到文件里面了。不过经过mmap来写文件不能增长文件的长度，应为映射的长度在调用mmap()的时候就决定了。

 原理

       首先，映射，就是创建一种对应的关系，主要是在硬盘上文件的位置与进程地址空间中一块大小相同的区域之间--对应。

 

 

  在内存映射的过程当中，并无实际数据的拷贝，文件并没与被载入到内存中，只是逻辑上被放入到了内存，具体到代码，就是你创建并初始化了相关的数据结构。

  实际上，进程之间在共享内存时，并不老是读写少许数据后就解除映射，有新进程通信，在从新创建共享内存区域。而是保持共享区域，知道通讯完毕为止，这样，数据内容一致保存在共享内存中，并无写回文件。共享内存中的内容每每是解除映射的时候才写回文件。所以，采用共享内存的通信方式效率是很高的。

二、红黑树

三、链表

。。。

   epoll既然是对select和poll的改进，就应该能避免上述的三个缺点。那epoll都是怎么解决的呢？在此以前，咱们先看一下epoll和select和poll的调用接口上的不一样，select和poll都只提供了一个函数——select或者poll函数。而epoll提供了三个函数，epoll_create,epoll_ctl和epoll_wait，epoll_create是建立一个epoll句柄；epoll_ctl是注册要监听的事件类型；epoll_wait则是等待事件的产生。

   对于第一个缺点，epoll的解决方案在epoll_ctl函数中。每次注册新的事件到epoll句柄中时（在epoll_ctl中指定EPOLL_CTL_ADD），会把全部的fd拷贝进内核，而不是在epoll_wait的时候重复拷贝。epoll保证了每一个fd在整个过程当中只会拷贝一次。

   对于第二个缺点，epoll的解决方案不像select或poll同样每次都把current轮流加入fd对应的设备等待队列中，而只在epoll_ctl时把current挂一遍（这一遍必不可少）并为每一个fd指定一个回调函数，当设备就绪，唤醒等待队列上的等待者时，就会调用这个回调函数，而这个回调函数会把就绪的fd加入一个就绪链表）。epoll_wait的工做实际上就是在这个就绪链表中查看有没有就绪的fd（利用schedule_timeout()实现睡一会，判断一会的效果，和select实现中的第7步是相似的）。

   对于第三个缺点，epoll没有这个限制，它所支持的FD上限是最大能够打开文件的数目，这个数字通常远大于2048,举个例子,在1GB内存的机器上大约是10万左右，具体数目能够cat /proc/sys/fs/file-max察看,通常来讲这个数目和系统内存关系很大。

 

select、poll、epoll之间的区别总结

 

select、poll、epoll都是IO多路复用的机制。IO多路复用就是经过一种机制，能够监测多个描述符，一旦某个描述符就绪（通常是读就绪或者写就绪），可以通知程序进行相应的读写。select、poll、epoll本职上都是同步I/O。由于他们都须要在读事件就绪后本身负责读写，也就是说这几个读写过程是阻塞的，而异步I/O则无需本身负责读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。

 

总结

 

（1）select，poll实现须要本身不断轮询全部fd集合，直到设备就绪，期间可能要睡眠和唤醒屡次交替。而epoll其实也须要调用epoll_wait不断轮询就绪链表，期间也可能屡次睡眠和唤醒交替，可是它是设备就绪时，调用回调函数，把就绪fd放入就绪链表中，并唤醒在epoll_wait中进入睡眠的进程。虽然都要睡眠和交替，可是select和poll在“醒着”的时候要遍历整个fd集合，而epoll在“醒着”的时候只要判断一下就绪链表是否为空就好了，这节省了大量的CPU时间。这就是回调机制带来的性能提高。

（2）select，poll每次调用都要把fd集合从用户态往内核态拷贝一次，而且要把current往设备等待队列中挂一次，而epoll只要一次拷贝，并且把current往等待队列上挂也只挂一次（在epoll_wait的开始，注意这里的等待队列并非设备等待队列，只是一个epoll内部定义的等待队列）。这也能节省很多的开销。

 

一、select==>时间复杂度O(n)

它仅仅知道了，有I/O事件发生了，却并不知道是哪那几个流（可能有一个，多个，甚至所有），咱们只能无差异轮询全部流，找出能读出数据，或者写入数据的流，对他们进行操做。因此select具备O(n)的无差异轮询复杂度，同时处理的流越多，无差异轮询时间就越长。

二、poll==>时间复杂度O(n)

poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，而后查询每一个fd对应的设备状态， 可是它没有最大链接数的限制，缘由是它是基于链表来存储的.

(3)epoll==>时间复杂度O(1)

epoll能够理解为event poll，不一样于忙轮询和无差异轮询，epoll会把哪一个流发生了怎样的I/O事件通知咱们。因此咱们说epoll其实是事件驱动（每一个事件关联上fd）的，此时咱们对这些流的操做都是有意义的。（复杂度下降到了O(1)）

select，poll，epoll都是IO多路复用的机制。I/O多路复用就经过一种机制，能够监视多个描述符，一旦某个描述符就绪（通常是读就绪或者写就绪），可以通知程序进行相应的读写操做。但select，poll，epoll本质上都是同步I/O，由于他们都须要在读写事件就绪后本身负责进行读写，也就是说这个读写过程是阻塞的，而异步I/O则无需本身负责进行读写，异步I/O的实现会负责把数据从内核拷贝到用户空间。 

epoll跟select都能提供多路I/O复用的解决方案。在如今的Linux内核里有都可以支持，其中epoll是Linux所特有，而select则应该是POSIX所规定，通常操做系统均有实现 

 

select

 

select的本质是经过设置或者检查存放fd标志位的数据结构来进行下一步处理。这样带来的缺点：

一、单个进程可监视的fd数量有限，即能监听端口号的大小有限。

   通常来讲这个数目和系统内存关系很大，具体数目能够cat /proc/sys/fs/file-max察看。32位机默认是1024个。64位机默认是2048.

二、对socket进行扫描是线性扫描，即采用轮训的方法，效率低：

  当套接字比较多的时候，每次select()都要经过遍历FD_SETSIZE个Socket来完成调度,无论哪一个Socket是活跃的,都遍历一遍。这会浪费不少CPU时间。若是能给套接字注册某个回调函数，当他们活跃时，自动完成相关操做，那就避免了轮询，这正是epoll与kqueue作的。

 

三、须要维护一个存放大量fd的数据结构，这样会使得用户空间和内核空间在传递该结构复制开销大。

 

poll

 

poll本质上和select没有区别，它将用户传入的数组拷贝到内核空间，而后查询每一个fd对应的设备状态，若是设备就绪则在设备等待队列中加入一项并继续遍历，若是遍历完全部fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或者主动超时，被唤醒后它又要再次遍历fd。这个过程经历了屡次无谓的遍历。

 

它没有最大链接数的限制，缘由是它是基于链表来存储的，可是一样有一个缺点：

 

一、大量的fd数组被总体复制于用户状态和内核状态之间，而无论这样的复制是否是有意义。

二、poll还有一个特色是“水平触发”，若是报告了fd后，没有被处理，那么下次poll时还会再次报告该fd。

 

epoll

 

epoll有EPOLLLT和EPOLLET两种触发模式，LT是默认的模式，ET是“高速”模式。LT模式下，只要这个fd还有数据可读，每次 epoll_wait都会返回它的事件，提醒用户程序去操做，而在ET（边缘触发）模式中，它只会提示一次，直到下次再有数据流入以前都不会再提示了，无 论fd中是否还有数据可读。因此在ET模式下，read一个fd的时候必定要把它的buffer读光，也就是说一直读到read的返回值小于请求值，或者 遇到EAGAIN错误。还有一个特色是，epoll使用“事件”的就绪通知方式，经过epoll_ctl注册fd，一旦该fd就绪，内核就会采用相似callback的回调机制来激活该fd，epoll_wait即可以收到通知。

 

epoll为何要有EPOLLET模式

 

若是采用EPOLLLT模式的话，系统中一旦有大量你不须要读写的就绪文件描述符，它们每次调用epoll_wait都会返回，这样会大大下降处理程序检索本身关心的就绪文件描述符的效率.。而采用EPOLLET这种边沿触发模式的话，当被监控的文件描述符上有可读写事件发生时，epoll_wait()会通知处理程序去读写。若是此次没有把数据所有读写完(如读写缓冲区过小)，那么下次调用epoll_wait()时，它不会通知你，也就是它只会通知你一次，直到该文件描述符上出现第二次可读写事件才会通知你！！！这种模式比水平触发效率高，系统不会充斥大量你不关心的就绪文件描述符。

 

epoll的优势

 

一、没有最大并发链接数的限制，能打开的FD的上限远大于1024（1G的内存上能监听约10万个端口）

二、效率提高，不是轮询的方式，不会随着FD数目的增长效率降低。只有活跃可用的FD才会调用callback函数；

即epoll最大的优势在于它只管你“活跃的连接”，而跟链接总数无关，所以在实际的网络环境中，Epoll的效率会远高于select和poll。

三、内存拷贝，利用mmap（）文件映射内存加速与内核空间的消息传递；即内核epoll使用mmap减小复制的开销。

 

 

select、poll、epoll区别总结：

一、支持一个进程所能打开的最大链接数

 

一、select

单个进程所能打开的最大链接数有FD_SETSIZE宏定义，其大小是32个整数的大小（在32位的机器上，大小就是3232，同理64位机器上FD_SETSIZE为3264），固然咱们能够对进行修改，而后从新编译内核，可是性能可能会受到影响，这须要进一步的测试。

2、poll

poll本质上和select没有区别，可是它没有最大链接数的限制，缘由是它用链表来存储。

三、epoll

虽然链接数有上限，1G内存的机器上能够链接10万左右的链接，2G内存的机器能够打开20万左右的链接

2、fd剧增后带来的IO效率问题

1、select

由于每次调用都会对链接进行线性的遍历，因此FD的增长会形成遍历速度的“线性降低性能问题”

二、poll

同上

三、epoll

由于epoll内核中实现是根据每一个fd的callback函数实现的，只有活跃的socket才会主动调用callback，因此在活跃socket较少的状况下，使用epoll没有前面二者的线性降低的性能问题，可是全部socket都很活跃的状况下，可能会有性能问题。

3、消息传递

1、select

内核须要将消息传递到用户空间，都须要内核的拷贝动做

2、poll

同上

三、epoll

经过内核和用户空间共享一块内存来实现

总结

一、表面行看epoll的想能最好，可是在链接数少而且都十分活跃的状况下，select和poll的想能可能更好，epoll的通信机制须要不少的函数回调。

 

二、select低效由于每次它都须要轮训，可是低效也是相对的，视状况决定。