IOCP(I/O Completion Port,I/O完成端口)是性能最好的一种I/O模型。它是应用程序使用线程池处理异步I/O请求的一种机制。在处理多个并发的异步I/O请求时,以往的模型都是在接收请求是建立一个线程来应答请求。这样就有不少的线程并行地运行在系统中。而这些线程都是可运行的,Windows内核花费大量的时间在进行线程的上下文切换,并无多少时间花在线程运行上。再加上建立新线程的开销比较大,因此形成了效率的低下。
调用的步骤以下:
抽象出一个完成端口大概的处理流程:
1:建立一个完成端口。
2:建立一个线程A。
3:A线程循环调用GetQueuedCompletionStatus()函数来获得IO操做结果,这个函数是个阻塞函数。
4:主线程循环里调用accept等待客户端链接上来。
5:主线程里accept返回新链接创建之后,把这个新的套接字句柄用CreateIoCompletionPort关联到完成端口,而后发出一个异步的WSASend或者WSARecv调用,由于是异步函数,WSASend/WSARecv会立刻返回,实际的发送或者接收数据的操做由WINDOWS系统去作。
6:主线程继续下一次循环,阻塞在accept这里等待客户端链接。
7:WINDOWS系统完成WSASend或者WSArecv的操做,把结果发到完成端口。
8:A线程里的GetQueuedCompletionStatus()立刻返回,并从完成端口取得刚完成的WSASend/WSARecv的结果。
9:在A线程里对这些数据进行处理(若是处理过程很耗时,须要新开线程处理),而后接着发出WSASend/WSARecv,并继续下一次循环阻塞在GetQueuedCompletionStatus()这里。
归根到底归纳完成端口模型一句话:
咱们不停地发出异步的WSASend/WSARecv IO操做,具体的IO处理过程由WINDOWS系统完成,WINDOWS系统完成实际的IO处理后,把结果送到完成端口上(若是有多个IO都完成了,那么就在完成端口那里排成一个队列)。咱们在另一个线程里从完成端口不断地取出IO操做结果,而后根据须要再发出WSASend/WSARecv IO操做。
而IOCP模型是事先开好了N个线程,存储在线程池中,让他们hold。而后将全部用户的请求都投递到一个完成端口上,而后N个工做线程逐一地从完成端口中取得用户消息并加以处理。这样就避免了为每一个用户开一个线程。既减小了线程资源,又提升了线程的利用率。
完成端口模型是怎样实现的呢?咱们先建立一个完成端口(::CreateIoCompletioPort())。而后再建立一个或多个工做线程,并指定他们到这个完成端口上去读取数据。咱们再将远程链接的套接字句柄关联到这个完成端口(仍是用::CreateIoCompletionPort())。一切就OK了。
工做线程都干些什么呢?首先是调用::GetQueuedCompletionStatus()函数在关联到这个完成端口上的全部套接字上等待I/O的完成。再判断完成了什么类型的I/O。通常来讲,有三种类型的I/O,OP_ACCEPT,OP_READ和OP_WIRTE。咱们到数据缓冲区内读取数据后,再投递一个或是多个同类型的I/O便可(::AcceptEx()、::WSARecv()、::WSASend())。对读取到的数据,咱们能够按照本身的须要来进行相应的处理。
为此,咱们须要一个以OVERLAPPED(重叠I/O)结构为第一个字段的per-I/O数据自定义结构。
typedef struct _PER_IO_DATA
{
OVERLAPPED ol; // 重叠I/O结构
char buf[BUFFER_SIZE]; // 数据缓冲区
int nOperationType; //I/O操做类型
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
} PER_IO_DATA, *PPER_IO_DATA;
将一个PER_IO_DATA结构强制转化成一个OVERLAPPED结构传给::GetQueuedCompletionStatus()函数,返回的这个PER_IO_DATA结构的的nOperationType就是I/O操做的类型。固然,这些类型都是在投递I/O请求时本身设置的。
这样一个IOCP服务器的框架就出来了。固然,要作一个好的IOCP服务器,还有考虑不少问题,如内存资源管理、接受链接的方法、恶意的客户链接、包的重排序等等。以上是我的对于IOCP模型的一些理解与见解,还有待完善。另外各Winsock API的用法参见MSDN。
补充IOCP模型的实现:
//建立一个完成端口
HANDLE FCompletPort = CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0,0,0 );
//接受远程链接,并把这个链接的socket句柄绑定到刚才建立的IOCP上
AConnect = accept( FListenSock, addr, len);
CreateIoCompletionPort( AConnect, FCompletPort, NULL, 0 );
//建立CPU数*2 + 2个线程
SYSTEM_INFO si;
GetSystemInfo(&si);
for (int i=1;si.dwNumberOfProcessors*2+2;i++)
{
AThread = TRecvSendThread.Create( false );
AThread.CompletPort = FCompletPort;//告诉这个线程,你要去这个IOCP去访问数据
}
OK,就这么简单,咱们要作的就是创建一个IOCP,把远程链接的socket句柄绑定到刚才建立的IOCP上,最后建立n个线程,并告诉这n个线程到这个IOCP上去访问数据就能够了。
再看一下TRecvSendThread线程都干些什么:
void TRecvSendThread.Execute(...)
{
while (!self.Terminated)
{
//查询IOCP状态(数据读写操做是否完成)
GetQueuedCompletionStatus( CompletPort, BytesTransd, CompletKey, POVERLAPPED(pPerIoDat), TIME_OUT );
if (BytesTransd !=0) .......
....;//数据读写操做完成
//再投递一个读数据请求
WSARecv( CompletKey, &(pPerIoDat->BufData), 1, BytesRecv, Flags, &(pPerIoDat->Overlap), NULL );
}
}
读写线程只是简单地检查IOCP是否完成了咱们投递的读写操做,若是完成了则再投递一个新的读写请求。
应该注意到,咱们建立的全部TRecvSendThread都在访问同一个IOCP(由于咱们只建立了一个IOCP),而且咱们没有使用临界区!难道不会产生冲突吗?不用考虑同步问题吗?
呵呵,这正是IOCP的奥妙所在。IOCP不是一个普通的对象,不须要考虑线程安全问题。它会自动调配访问它的线程:若是某个socket上有一个线程A正在访问,那么线程B的访问请求会被分配到另一个socket。这一切都是由系统自动调配的,咱们无需过问。ios
实例:windows
简单实现,适合IOCP入门
参考:《WINDOWS网络与通讯程序设计》安全
/******************************************************************
*
* Copyright (c) 2008, xxxxx有限公司
* All rights reserved.
*
* 文件名称:IOCPHeader.h
* 摘 要: IOCP定义文件
*
* 当前版本:1.0
* 做 者:吴会然
* 完成日期:2008-9-16
*
* 取代版本:
* 原 做者:
* 完成日期:
*
******************************************************************/服务器
#ifndef _IOCPHEADER_H_20080916_
#define _IOCPHEADER_H_20080916_网络
#include <WINSOCK2.H>
#include <windows.h>并发
#define BUFFER_SIZE 1024框架
/******************************************************************
* per_handle 数据
*******************************************************************/
typedef struct _PER_HANDLE_DATA
{
SOCKET s; // 对应的套接字句柄
sockaddr_in addr; // 对方的地址异步
}PER_HANDLE_DATA, *PPER_HANDLE_DATA;socket
/******************************************************************
* per_io 数据
*******************************************************************/
typedef struct _PER_IO_DATA
{
OVERLAPPED ol; // 重叠结构
char buf[BUFFER_SIZE]; // 数据缓冲区
int nOperationType; // 操做类型函数
#define OP_READ 1
#define OP_WRITE 2
#define OP_ACCEPT 3
}PER_IO_DATA, *PPER_IO_DATA;
#endif
/******************************************************************
*
* Copyright (c) 2008, xxxxx有限公司
* All rights reserved.
*
* 文件名称:main.cpp
* 摘 要: iocp demo
*
* 当前版本:1.0
* 做 者:吴会然
* 完成日期:2008-9-16
*
* 取代版本:
* 原 做者:
* 完成日期:
*
******************************************************************/
#include <iostream>
#include <string>
#include "IOCPHeader.h"
using namespace std;
DWORD WINAPI ServerThread( LPVOID lpParam );
int main( int argc, char *argv[] )
{
//////////////////////////////////////////////////////////////////////////
WSADATA wsaData;
if( 0 != WSAStartup( MAKEWORD( 2, 2 ), &wsaData ) )
{
printf( "Using %s (Status:%s)\n", wsaData.szDescription, wsaData.szSystemStatus );
printf( "with API versions: %d.%d to %d.%d",
LOBYTE( wsaData.wVersion), HIBYTE( wsaData.wVersion ),
LOBYTE( wsaData.wHighVersion), HIBYTE( wsaData.wHighVersion) );
return -1;
}
else
{
printf("Windows sockets 2.2 startup\n");
}
//////////////////////////////////////////////////////////////////////////
int nPort = 20055;
// 建立完成端口对象
// 建立工做线程处理完成端口对象的事件
HANDLE hIocp = ::CreateIoCompletionPort( INVALID_HANDLE_VALUE, 0, 0, 0 );
::CreateThread( NULL, 0, ServerThread, (LPVOID)hIocp, 0, 0 );
// 建立监听套接字,绑定本地端口,开始监听
SOCKET sListen = ::socket( AF_INET,-SOCK_STREAM, 0 );
SOCKADDR_IN addr;
addr.sin_family = AF_INET;
addr.sin_port = ::htons( nPort );
addr.sin_addr.S_un.S_addr = INADDR_ANY;
::bind( sListen, (sockaddr *)&addr, sizeof( addr ) );
::listen( sListen, 5 );
printf( "iocp demo start......\n" );
// 循环处理到来的请求
while ( TRUE )
{
// 等待接受未决的链接请求
SOCKADDR_IN saRemote;
int nRemoteLen = sizeof( saRemote );
SOCKET sRemote = ::accept( sListen, (sockaddr *)&saRemote, &nRemoteLen );
// 接受到新链接以后,为它建立一个per_handle数据,并将他们关联到完成端口对象
PPER_HANDLE_DATA pPerHandle = ( PPER_HANDLE_DATA )::GlobalAlloc( GPTR, sizeof( PPER_HANDLE_DATA ) );
if( pPerHandle == NULL )
{
break;
}
pPerHandle->s = sRemote;
memcpy( &pPerHandle->addr, &saRemote, nRemoteLen );
::CreateIoCompletionPort( ( HANDLE)pPerHandle->s, hIocp, (DWORD)pPerHandle, 0 );
// 投递一个接受请求
PPER_IO_DATA pIoData = ( PPER_IO_DATA )::GlobalAlloc( GPTR, sizeof( PPER_IO_DATA ) );
if( pIoData == NULL )
{
break;
}
pIoData->nOperationType = OP_READ;
WSABUF buf;
buf.buf = pIoData->buf;
buf.len = BUFFER_SIZE;
DWORD dwRecv = 0;
DWORD dwFlags = 0;
::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pIoData->ol, NULL );
}
//////////////////////////////////////////////////////////////////////////
ERROR_PROC:
WSACleanup();
//////////////////////////////////////////////////////////////////////////
return 0;
}
/******************************************************************
* 函数介绍:处理完成端口对象事件的线程
* 输入参数:
* 输出参数:
* 返回值 :
*******************************************************************/
DWORD WINAPI ServerThread( LPVOID lpParam )
{
HANDLE hIocp = ( HANDLE )lpParam;
if( hIocp == NULL )
{
return -1;
}
DWORD dwTrans = 0;
PPER_HANDLE_DATA pPerHandle;
PPER_IO_DATA pPerIo;
while( TRUE )
{
// 在关联到此完成端口的全部套接字上等待I/O完成
BOOL bRet = ::GetQueuedCompletionStatus( hIocp, &dwTrans, (LPDWORD)&pPerHandle, (LPOVERLAPPED*)&pPerIo, WSA_INFINITE );
if( !bRet ) // 发生错误
{
::closesocket( pPerHandle->s );
::GlobalFree( pPerHandle );
::GlobalFree( pPerIo );
cout << "error" << endl;
continue;
}
// 套接字被对方关闭
if( dwTrans == 0 && ( pPerIo->nOperationType == OP_READ || pPerIo->nOperationType&nb-sp;== OP_WRITE ) )
{
::closesocket( pPerHandle->s );
::GlobalFree( pPerHandle );
::GlobalFree( pPerIo );
cout << "client closed" << endl;
continue;
}
switch ( pPerIo->nOperationType )
{
case OP_READ: // 完成一个接收请求
{
pPerIo->buf[dwTrans] = '\0';
printf( "%s\n", pPerIo->buf );
// 继续投递接受操做
WSABUF buf;
buf.buf = pPerIo->buf;
buf.len = BUFFER_SIZE;
pPerIo->nOperationType = OP_READ;
DWORD dwRecv = 0;
DWORD dwFlags = 0;
::WSARecv( pPerHandle->s, &buf, 1, &dwRecv, &dwFlags, &pPerIo->ol, NULL );
}
break;
case OP_WRITE:
case OP_ACCEPT:
break;
}
}
return 0; }