在Linux中,默认状况下全部的socket都是blocking,一个典型的读操做流程大概是这样:程序员
当用户进程调用了recvfrom这个系统调用,kernel就开始了IO的第一个阶段:准备数据。对于network IO来讲,不少时候数据在一开始尚未到达(好比,尚未收到一个完整的UDP包),这个时候kernel就要等待足够的数据到来。web
而在用户进程这边,整个进程会被阻塞。当kernel一直等到数据准备好了,它就会将数据从kernel中拷贝到用户内存,而后kernel返回结果,用户进程才解除block的状态,从新运行起来。
因此,blocking IO的特色就是在IO执行的两个阶段(等待数据和拷贝数据两个阶段)都被block了。数据库
几乎全部的程序员第一次接触到的网络编程都是从listen\(\)、send\(\)、recv\(\) 等接口开始的, 使用这些接口能够很方便的构建服务器/客户机的模型。然而大部分的socket接口都是阻塞型的。以下图 ps: 所谓阻塞型接口是指系统调用(通常是IO接口)不返回调用结果并让当前线程一直阻塞 只有当该系统调用得到结果或者超时出错时才返回。
实际上,除非特别指定,几乎全部的IO接口 ( 包括socket接口 ) 都是阻塞型的。这给网络编程带来了一个很大的问题,如在调用recv(1024)的同时,线程将被阻塞,在此期间,线程将没法执行任何运算或响应任何的网络请求。编程
一个简单的解决方案:缓存
在服务器端使用多线程(或多进程)。 多线程(或多进程)的目的是让每一个链接都拥有独立的线程(或进程), 这样任何一个链接的阻塞都不会影响其余的链接。
该方案的问题是:tomcat
启多进程或都线程的方式,在遇到要同时响应成百上千路的链接请求, 则不管多线程仍是多进程都会严重占据系统资源, 下降系统对外界响应效率,并且线程与进程自己也更容易进入假死状态。
改进方案:服务器
不少程序员可能会考虑使用“线程池”或“链接池”。“线程池”旨在减小建立和销毁线程的频率, 其维持必定合理数量的线程,并让空闲的线程从新承担新的执行任务。“链接池”维持链接的缓存池,尽可能重用已有的链接、 减小建立和关闭链接的频率。这两种技术均可以很好的下降系统开销,都被普遍应用不少大型系统,如websphere、tomcat和各类数据库等。
改进后方案其实也存在着问题:网络
“线程池”和“链接池”技术也只是在必定程度上缓解了频繁调用IO接口带来的资源占用。并且,所谓“池”始终有其上限, 当请求大大超过上限时,“池”构成的系统对外界的响应并不比没有池的时候效果好多少。 因此使用“池”必须考虑其面临的响应规模,并根据响应规模调整“池”的大小。