Linux的I/O多路复用机制之--epoll
什么是epoll
按照man手册的说法：是为处理大批量句柄而做了改进的poll。它几乎具有了以前所说的一切优势，被公认为Linux2.6下性能最好的多路I/O就绪通知方法。linux
epoll的相关系统调用
int epoll_create(int size);
建立一个epoll的句柄。自从linux2.6.8以后，size参数是被忽略的。须要注意的是，当建立好epoll句柄后，它就是会占用一个fd值，在linux下若是查看/proc/进程id/fd/，是可以看到这个fd的，因此在使用完epoll后，必须调用close()关闭，不然可能致使fd被耗尽。编程
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
epoll的事件注册函数，它不一样于select()是在监听事件时告诉内核要监听什么类型的事件，而是在这里先注册要监听的事件类型。数组
第一个参数是epoll_create()的返回值。浏览器
第二个参数表示动做，用三个宏来表示：服务器
EPOLL_CTL_ADD：注册新的fd到epfd中；网络
EPOLL_CTL_MOD：修改已经注册的fd的监听事件；数据结构
EPOLL_CTL_DEL：从epfd中删除一个fd；socket
第三个参数是须要监听的fd。ide
第四个参数是告诉内核须要监听什么事，struct epoll_event结构以下：函数
//保存触发事件的某个文件描述符相关的数据（与具体使用方式有关）
typedef union epoll_data {
void *ptr;
int fd;
__uint32_t u32;
__uint64_t u64;
} epoll_data_t;
//感兴趣的事件和被触发的事件
struct epoll_event {
__uint32_t events; /* Epoll events */
epoll_data_t data; /* User data variable */
};
events能够是如下几个宏的集合：
EPOLLIN ：表示对应的文件描述符能够读（包括对端SOCKET正常关闭）；
EPOLLOUT：表示对应的文件描述符能够写；
EPOLLPRI：表示对应的文件描述符有紧急的数据可读（这里应该表示有带外数据到来）；
EPOLLERR：表示对应的文件描述符发生错误；
EPOLLHUP：表示对应的文件描述符被挂断；
EPOLLET： 将EPOLL设为边缘触发(Edge Triggered)模式，这是相对于水平触发(Level Triggered)来讲的。
EPOLLONESHOT：只监听一次事件，当监听完此次事件以后，若是还须要继续监听这个socket的话，须要再次把这个socket加入到EPOLL队列里
int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout);
收集在epoll监控的事件中已经发送的事件。参数events是分配好的epoll_event结构体数组，epoll将会把发生的事件赋值到events数组中（events不能够是空指针，内核只负责把数据复制到这个events数组中，不会去帮助咱们在用户态中分配内存）。maxevents告以内核这个events有多大，这个 maxevents的值不能大于建立epoll_create()时的size，参数timeout是超时时间（毫秒，0会当即返回，-1将不肯定，也有说法说是永久阻塞）。若是函数调用成功，返回对应I/O上已准备好的文件描述符数目，如返回0表示已超时。
epoll工做原理
epoll一样只告知那些就绪的文件描述符，并且当咱们调用epoll_wait()得到就绪文件描述符时，返回的不是实际的描述符，而是一个表明就绪描述符数量的值，你只须要去epoll指定的一个数组中依次取得相应数量的文件描述符便可，这里也使用了内存映射（mmap）技术，这样便完全省掉了这些文件描述符在系统调用时复制的开销。
另外一个本质的改进在于epoll采用基于事件的就绪通知方式。在select/poll中，进程只有在调用必定的方法后，内核才对全部监视的文件描述符进行扫描，而epoll事先经过epoll_ctl()来注册一个文件描述符，一旦基于某个文件描述符就绪时，内核会采用相似callback的回调机制，迅速激活这个文件描述符，当进程调用epoll_wait()时便获得通知。
epoll的2种工做方式-水平触发（LT）和边缘触发（ET）
假若有这样一个例子：
1. 咱们已经把一个用来从管道中读取数据的文件句柄(RFD)添加到epoll描述符
2. 这个时候从管道的另外一端被写入了2KB的数据
3. 调用epoll_wait(2)，而且它会返回RFD，说明它已经准备好读取操做
4. 而后咱们读取了1KB的数据
5. 调用epoll_wait(2)......
Edge Triggered工做模式：
若是咱们在第1步将RFD添加到epoll描述符的时候使用了EPOLLET标志，那么在第5步调用epoll_wait(2)以后将有可能会挂起，由于剩余的数据还存在于文件的输入缓冲区内，并且数据发出端还在等待一个针对已经发出数据的反馈信息。只有在监视的文件句柄上发生了某个事件的时候 ET 工做模式才会汇报事件。所以在第5步的时候，调用者可能会放弃等待仍在存在于文件输入缓冲区内的剩余数据。在上面的例子中，会有一个事件产生在RFD句柄上，由于在第2步执行了一个写操做，而后，事件将会在第3步被销毁。由于第4步的读取操做没有读空文件输入缓冲区内的数据，所以咱们在第5步调用 epoll_wait(2)完成后，是否挂起是不肯定的。epoll工做在ET模式的时候，必须使用非阻塞套接口，以免因为一个文件句柄的阻塞读/阻塞写操做把处理多个文件描述符的任务饿死。最好如下面的方式调用ET模式的epoll接口，在后面会介绍避免可能的缺陷。
i 基于非阻塞文件句柄
ii 只有当read(2)或者write(2)返回EAGAIN时才须要挂起，等待。但这并非说每次read()时都须要循环读，直到读到产生一个EAGAIN才认为这次事件处理完成，当read()返回的读到的数据长度小于请求的数据长度时，就能够肯定此时缓冲中已没有数据了，也就能够认为此事读事件已处理完成。
Level Triggered 工做模式
相反的，以LT方式调用epoll接口的时候，它就至关于一个速度比较快的poll(2)，而且不管后面的数据是否被使用，所以他们具备一样的职能。由于即便使用ET模式的epoll，在收到多个chunk的数据的时候仍然会产生多个事件。调用者能够设定EPOLLONESHOT标志，在 epoll_wait(2)收到事件后epoll会与事件关联的文件句柄从epoll描述符中禁止掉。所以当EPOLLONESHOT设定后，使用带有 EPOLL_CTL_MOD标志的epoll_ctl(2)处理文件句柄就成为调用者必须做的事情。
LT(level triggered)是epoll缺省的工做方式，而且同时支持block和no-block socket.在这种作法中，内核告诉你一个文件描述符是否就绪了，而后你能够对这个就绪的fd进行IO操做。若是你不做任何操做，内核仍是会继续通知你 的，因此，这种模式编程出错误可能性要小一点。传统的select/poll都是这种模型的表明．
ET (edge-triggered)是高速工做方式，只支持no-block socket，它效率要比LT更高。ET与LT的区别在于，当一个新的事件到来时，ET模式下固然能够从epoll_wait调用中获取到这个事件，但是若是此次没有把这个事件对应的套接字缓冲区处理完，在这个套接字中没有新的事件再次到来时，在ET模式下是没法再次从epoll_wait调用中获取这个事件的。而LT模式正好相反，只要一个事件对应的套接字缓冲区还有数据，就总能从epoll_wait中获取这个事件。
所以，LT模式下开发基于epoll的应用要简单些，不太容易出错。而在ET模式下事件发生时，若是没有完全地将缓冲区数据处理完，则会致使缓冲区中的用户请求得不到响应。
epoll的优势：
1.支持一个进程打开大数目的socket描述符(FD)
select 最不能忍受的是一个进程所打开的FD是有必定限制的，由FD_SETSIZE设置，默认值是2048。对于那些须要支持的上万链接数目的IM服务器来讲显然太少了。不过 epoll则没有这个限制，它所支持的FD上限是最大能够打开文件的数目，这个数字通常远大于2048。
2.IO效率不随FD数目增长而线性降低
传统的select/poll另外一个致命弱点就是当你拥有一个很大的socket集合，不过因为网络延时，任一时间只有部分的socket是"活跃"的，可是select/poll每次调用都会线性扫描所有的集合，致使效率呈现线性降低。可是epoll不存在这个问题，它只会对"活跃"的socket进行操做---这是由于在内核实现中epoll是根据每一个fd上面的callback函数实现的。那么，只有"活跃"的socket才会主动的去调用 callback函数，其余idle状态socket则不会。
3.使用mmap加速内核与用户空间的消息传递
这点实际上涉及到epoll的具体实现了。不管是select,poll仍是epoll都须要内核把FD消息通知给用户空间，如何避免没必要要的内存拷贝就很重要，在这点上，epoll是经过内核于用户空间mmap同一块内存实现的。
4.内核微调
（不太懂！）
epoll网络服务器实例
服务器端：
#include <stdio.h>
#include <stdlib.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <sys/epoll.h>
#include <string.h>
#define _MAX_LISTEN_ 5
#define _MAX_SIZE_ 10
#define _BUF_SIZE_ 1024
void Usage(const char* proc)
{
printf("%s usage: [ip] [port]\n", proc);
}
int startup(const char* _ip, const char* _port)
{
int sock = socket(AF_INET, SOCK_STREAM, 0);
if(sock < 0)
{
perror("socket");
exit(1);
}
int opt = 1;
if (setsockopt(sock, SOL_SOCKET, SO_REUSEADDR, &opt, sizeof(opt)) < 0)
{
perror("setsockopt");
exit(2);
}
struct sockaddr_in local;
local.sin_family = AF_INET;
local.sin_port = htons(atoi(_port));
local.sin_addr.s_addr = inet_addr(_ip);
if(bind(sock, (struct sockaddr*)&local, sizeof(local)) < 0)
{
perror("bind");
exit(3);
}
if(listen(sock, _MAX_LISTEN_) < 0)
{
perror("listen");
exit(4);
}
return sock;
}
int main(int argc, char* argv[])
{
if(argc != 3)
{
Usage(argv[0]);
return 1;
}
int listen_sock = startup(argv[1], argv[2]);
int epoll_fd = epoll_create(128);
if(epoll_fd < 0)
{
perror("epoll_create");
close(listen_sock);
exit(5);
}
struct epoll_event ev, revent[_MAX_SIZE_];
ev.data.fd = listen_sock;
ev.events = EPOLLIN;
if(epoll_ctl(epoll_fd, EPOLL_CTL_ADD, listen_sock, &ev) < 0)
{
perror("epoll_ctl add error");
exit(6);
}
int timeout = -1;
while(1)
{
int revent_len = sizeof(revent)/sizeof(revent[0]);
int epoll_n = epoll_wait(epoll_fd, revent, revent_len, timeout);
switch(epoll_n)
{
case -1:
perror("epoll_wait");
exit(7);
break;
case 0:
printf("time out\n");
break;
default:
{
int index = 0;
int new_fd = -1;
for(; index < epoll_n; ++index)
{
new_fd = revent[index].data.fd;
if(new_fd == listen_sock) //new accpet
{
struct sockaddr_in peer;
socklen_t len = sizeof(peer);
new_fd = accept(listen_sock, (struct sockaddr* )&peer, &len);
if(new_fd < 0)
{
perror("accept");
exit(8);
}
printf("get a new client %d -> ip: %s port: %d\n", new_fd, inet_ntoa(peer.sin_addr), ntohs(peer.sin_port));
ev.data.fd = new_fd;
ev.events = EPOLLIN;
if(epoll_ctl(epoll_fd, EPOLL_CTL_ADD, new_fd, &ev) < 0)
{
perror("epoll_ctl add error");
close(new_fd);
exit(9);
}
continue;
}
if(revent[index].events & EPOLLIN) //new read
{
char buf[_BUF_SIZE_];
int _s = read(new_fd, buf, sizeof(buf)-1);
if(_s > 0)
{
buf[_s] = '\0';
printf("client %d # %s\n",new_fd, buf);
}
else if(_s == 0)
{
printf("client %d is closed\n", new_fd);
close(new_fd);
epoll_ctl(epoll_fd, EPOLL_CTL_DEL, new_fd, NULL);
}
else
{
perror("read");
}
}
ev.data.fd = new_fd;
ev.events = EPOLLOUT;
if(epoll_ctl(epoll_fd, EPOLL_CTL_MOD, new_fd, &ev) < 0)
{
perror("epoll_ctl mod error");
close(new_fd);
exit(10);
}
if(revent[index].events & EPOLLOUT)
{
const char* msg = "Hello World ^_^";
write(new_fd, msg, strlen(msg));
close(new_fd);
epoll_ctl(epoll_fd, EPOLL_CTL_DEL, new_fd, NULL);
}
}
}
}
}
return 0;
}
客户端：
#include <stdio.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#include <unistd.h>
#include <string.h>
#include <stdlib.h>
void Usage(const char* proc)
{
printf("usage: %s [ip] [port]\n", proc);
}
int main(int argc, char* argv[])
{
if(argc != 3)
{
Usage(argv[0]);
exit(1);
}
int conn_sock = socket(AF_INET, SOCK_STREAM, 0);
struct sockaddr_in conn;
conn.sin_family = AF_INET;
conn.sin_port = htons(atoi(argv[2]));
conn.sin_addr.s_addr = inet_addr(argv[1]);
if(connect(conn_sock, (const struct sockaddr*)&conn, sizeof(conn)) < 0)
{
perror("connect");
exit(2);
}
char buf[1024];
memset(buf, '\0', sizeof(buf));
while(1)
{
printf("please enter # ");
fflush(stdout);
ssize_t _s = read(0, buf, sizeof(buf)-1);
if(_s > 0)
{
buf[_s-1] = '\0';
write(conn_sock, buf, strlen(buf));
}
_s = read(conn_sock, buf, sizeof(buf)-1);
if(_s > 0)
{
buf[_s] = '\0';
printf("sever # %s\n", buf);
}
}
return 0;
}
程序演示：
浏览器
客户端
select/poll/epoll优缺点分析
select
select本质是经过设置或检查存放fd标志位的数据结构来进行下一步的处理。会阻塞，直到有一个或多个I/O就绪。
监视的文件描述符分为三类set，每一种对应不一样的事件。readfds、writefds和exceptfds是指向描述符集的指针。
readfds列出的文件描述符被监视是否有数据可供读取。（可读）
writefds列出的文件描述符被监视是否有写入操做完成。（可写）
exceptfds列出的文件描述符被监视是否发生异常，或没法控制的数据是否可用。（仅仅用于socket）
这三类set为NULL时，select()不监视其对应的该类事件。
select()成功返回时，每组set都被修改以使它只包含准备好的I/O描述符。
特色：
(a)单个进程可监视的fd数量被限制；
(b)须要维护一个用来存放大量fd的数据结构，这样会使用户空间和内核空间在传递该结构时复制开销大；
(c)对fd进行扫描是线性的，fd剧增后，IO效率较低，由于每次调用都对fd进行线性扫描遍历，因此随着fd的增长会形成遍历速度慢的性能问题；
(d)内核须要将消息传递用户空间，须要内核拷贝动做；
(e)最大支持1024个fd。
poll
和select基本同样，除了poll没有使用低效的三个基于位的文件描述符set，而是采用了一个单独的结构体pollfd数组，由fds指针指向这个组。
特色：
(a)它将用户传入的数组拷贝到内核空间，而后查询每一个fd对应的设备状态，若是设备就绪则在设备等待队列中加入一项并继续遍历。若是遍历完全部fd后没有发现就绪设备，则挂起当前进程，直到设备就绪或主动超时，被唤醒后它又要再次遍历fd；
(b)没有最大链接数的限制，缘由是它是基于链表来存储的；
(c)大量的fd的数组被总体复制于用户态和内核地址空间；
(d)对fd的扫描是线性的；
(e)水平触发：若是报告了fd后，没有被处理，那么下次poll时会再次报告该fd。
epoll
介绍如上
特色：
(a)支持一个进程打开最大数目的socket描述符(FD)。所支持的FD上限是最大能够打开文件的数组，在1GB机器上，大约为10万左右；
(b)IO效率不随fd数目增长而线性降低；（select/poll每次调用都会线性扫描所有的集合；epoll中只有活跃的socket才会主动调用callback函数，其余idle状态的socket则不会）
(c)使用mmap减小复制开销，加速内核与用户空间的消息传递；（epoll是经过内核和用户空间共享同一块内存实现的）
(d)支持边缘触发，只告诉进程中哪些fd刚刚变为就绪态，而且只通知一次。（epoll使用事件的就绪通知方式，经过epoll_ctl函数注册fd。一旦该fd就绪，内核就会采用相似callback的回调机制激活该fd，epoll_wait即可以收到通知。）
- 1. IO多路复用机制（select、poll、epoll）
- 2. IO多路复用之epoll使用
- 3. IO多路复用之epoll总结
- 4. IO多路复用之select、poll、epoll
- 5. linux IO多路复用机制(select、poll、epoll)及5种IO模型
- 6. IO多路复用与epoll机制浅析
- 7. I/O多路复用机制（Epoll）
- 8. Linux epoll 与多路复用
- 9. IO复用之epoll
- 10. Linux IO多路复用之select，epoll实现分析
- 更多相关文章...
- • ARP协议的工作机制详解 - TCP/IP教程
- • TiDB数据库的管理机制 - NoSQL教程
- • 漫谈MySQL的锁机制
- • 适用于PHP初学者的学习线路和建议
-
每一个你不满意的现在，都有一个你没有努力的曾经。
- 1. python的安装和Hello，World编写
- 2. 重磅解读：K8s Cluster Autoscaler模块及对应华为云插件Deep Dive
- 3. 鸿蒙学习笔记2（永不断更）
- 4. static关键字 和构造代码块
- 5. JVM笔记
- 6. 无法启动 C/C++ 语言服务器。IntelliSense 功能将被禁用。错误: Missing binary at c:\Users\MSI-NB\.vscode\extensions\ms-vsc
- 7. 【Hive】Hive返回码状态含义
- 8. Java树形结构递归（以时间换空间）和非递归（以空间换时间）
- 9. 数据预处理---缺失值
- 10. 都要2021年了，现代C++有什么值得我们学习的？