跨平台网络通讯与服务器编程框架库（acl库）介绍

1、描述

acl 工程是一个跨平台（支持LINUX，WIN32，Solaris，MacOS，FreeBSD）的网络通讯库及服务器编程框架，同时提供更多的实用功能 库。经过该库，用户能够很是容易地编写支持多种模式(多线程、多进程、非阻塞、触发器、UDP方式)的服务器程序，WEB 应用程序，数据库应用程序。此外，该库还提供了常见应用的客户端通讯库（如：HTTP、SMTP、ICMP、memcache、beanstalk），常 见流式编解码库：XML/JSON/MIME/BASE64/UUCODE/QPCODE/RFC2047 等。

1.一、库组成

本工程主要包含 5 个库及大量示例。5 个库的说明以下：

• 1) lib_acl: 该库是最基础的库，其它 4 个库均依赖于该库; 该库以 C 语言实现。

• 2) lib_protocol: 该库主要实现了 http 协议及 icmp/ping 协议; 该库以 C 语言实现。

• 3) lib_acl_cpp: 该库用 C++ 语言封装了 lib_acl/lib_protocol 两个库，同时增长了一些其它有价值的功能应用。

• 4) lib_dict: 该库主要实现了 KEY-VALUE 的字典式存储库，该库另外还依赖于 BDB, CDB 以及 tokyocabinet 库。

• 5) lib_tls: 该库封装了 openssl 库，使 lib_acl 的通讯模式能够支持 ssl。

1.二、功能模块组成

1.2.一、网络通讯库

• 流处理模块（ACL_VSTREAM）: 该模块是整个 acl 网络通讯最基础的流式通讯模块，不只支持网络流，同时还支持文件流，主要支持：

• 1 按行读数据，兼容 win32 下的 \r\n，同时兼容 UNIX 下的 \n 的结束符

• 2 按行读数据但要求自动去掉尾部的 \n 或 \r\n

• 3 以字符串为分隔符读取数据

• 4 读规定长度的数据

• 5 尝试性读一行数据或尝试性读规定长度数据

• 6 探测网络 IO 状态

• 7 写入一行数据

• 8 按格式符写入数据，相似于 fprintf

• 9 文件流定位操做，相似于 fseek

• 10 一次性写入一组数据，相似于 unix 下的 writev

• 11 将文件截短，相似于 ftrunk

• 12 获取文件大小

• 13 得到当前文件流指针位置，相似于 ftell

• 14 得到文件尺寸

• 15 得到网络流的本地地址及远程地址

• 网络操做模块：该模块主要支持网络服务端监听（支持 TCP/UDP/UNIX 域套接口）、网络客户端链接（支持 TCP/UNIX 域套接口）、DNS 域名查询及结果缓存（支持调用系统 gethostbyname 函数和直接发送 DNS 协议两种方式）、套接口（socket）操做及取本机网卡等功能。

• 非阻塞网络流：支持非阻塞方式链接、读（按行读，规定长度读）、写（写行，写规定长度，写一组数据）等操做。

• 常见网络应用协议库（lib_protocol/lib_acl_cpp）: 主要支持常见网络应用协议，诸如：HTTP、SMTP、ICMP，其中 HTTP、ICMP 两个模块实现了阻塞、非阻塞两种通讯方式；此外，HTTP 协议在C++版的 lib_acl_cpp 中还支持服务端、客户端两种通讯方式，看成为服务端使用时，支持相似于 JAVA HttpServlet 的接口使用方式，看成为客户端方式使用时，支持链接池与集群管理方式，该模块同时支持 cookie、session、HTTP MIME 文件上传、分块传输、字符集自动转换、自动解压缩、断点续传等丰富的功能。

• 常见网络通讯库: 支持 memcached、beanstalk、handler socket 客户端通讯库，该通讯库支持链接池方式。

1.2.二、网络 IO 事件引擎

支持 select(UNIX/LINUX/WIN32)、poll(UNIX/LINUX)、epoll(LINUX)、kqueue(BSD)、 devpoll(solaris)、iocp(WIN32)、窗口消息(WIN32) 等系统事件引擎，同时支持 Reactor 及 Proactor 两种编程模型。

1.2.三、网络服务器框架

该模块是 acl 中最为重要的模块，提供了服务器编程中经常使用的基础设施，该服务器框架来源于著名的 Postfix，在其基础上进行了诸多扩展，目前已经支持的主要服务模型有：

• 1 多进程模型：一个链接一个进程，这种模型的优势是编程简单、安全稳定，缺点是并发度不高；

• 2 多进程多线程模型：每一个子进程是由线程池中的一组线程处理全部的客户端链接，采用 IO 事件触发方式，只有当链接有数据可读时才会将链接与一个线程进行绑定，线程处理完后当即归还给线程池，这种模型的最大优势是能够用少许的线程即可以处理大 量的客户端链接，并且编程比较简单（相对于非阻塞模型）；

• 3 多进程非阻塞模型：每一个子进程是由一个单独的非阻塞线程组成，该线程采用彻底非阻塞 IO 方式处理外来的大量客户端链接（相似于 nginx/squid/ircd），该模型的优势是处理效率高占用资源少，能够处理大量客户端链接，缺点是编程比较复杂；

• 4 UDP 通讯模型：该模型主要为了支持 UDP 网络过程而增长的服务模型；

• 5 解发器模型：该模型的实例主要用来处理一些定时任务的后台服务过程（相似于系统的 crontab）。

服务器框架中的子进程实用采用半驻留服务模型，支持子进程预启动机制、最大最小进程数控制、子进程异常报警、单一进程监听多个地址（可同 时监听TCP/UDP套接字以及 UNIX 域套接字）、子进程安全控制、日志输出至 syslog-ng、多进程TCP链接均匀化；采用配置文件驱动方式，每一个服务一个配置文件，方便进程管理及服务进程在线升级。

1.2.四、经常使用数据结构模块

该模块提供了常见的哈希表（及多种哈希算法）、动态数组、双向链表、平衡二叉树、队列、二分块查找树、256 叉匹配树等数组结构；提供了统一的数据结构遍历方法(采用 acl_foreach)。

1.2.五、 内存操做模块

该模块提供三种内存池模型：

• 1 基本的内存方式：内部封装了系统的 malloc/free API，提供了内存校验等安全措施；该方式同时提供外部注册接口，容许使用者注册本身的内存分配模型；

• 2 内存片(slab) 方式：根据不一样的尺寸大小分配多个定长内存链，能够有效地减小内存碎片，大大提高内存分配效率；

• 3 内存链方式：将长度不一的小内存分配在一条内存页上，能够很是有效地使用内存，减小内存浪费。

1.2.六、经常使用字符串操做模块

支持字符串匹配查找、前(后)向比较、字符串分割、字符串大小写转换、H2B/B2H 转换、URL 编码/解码等功能。

1.2.七、文件目录模块

支持多级目录建立、多级目录扫描、文件句柄缓存等功能，同时在处理多级目录采用循环方式，避免了递归方式时可能的栈溢出的隐患。

1.2.八、读配置文件模块

支持读 name=value 形式的配置文件，value 较长时可使用反斜杠()折行，采用配置表方式提取配置文件中的配置项。

1.2.九、线程及线程池模块

提供了跨平台的支持 Posix 规范的线程接口（支持WIN32）；线程池模块经过多种措施最大程度地减小线程任务分配时的锁冲突（用在 acl 服务器框架中多进程多线程服务模型中）。

1.2.十、数字键的 K-V 磁盘存储模块（zdb）

采起 KEY/VALUE 分块存储方式，由于 KEY 限定为数字类型，只需内存计算即可算出 KEY 的位置，KEY 中存放了 VALUE 的位置，因此对于任何的数据查询只需两次磁盘定位。（本人在和讯作流量统计存储时，使用该种方式替代了BSD、TC 等采用B树的 K-V 存储）

1.2.十一、流式解析库

该模块包括 xml、json、rfc204七、mime、base6四、uucode、qpcode、charset 等编解码库，这些解码库均采用流式解析方式，适合于多种网络 IO 模型（阻塞/非阻塞TCP、UDP）。

1.2.十二、数据库封装库

设计了统一的数据库操做接口及链接池处理方式，目前支持 sqlite/mysql。

1.2.1三、文件队列处理库

支持多组目录队列文件的建立、扫描、删除等操做；经常使用于临时文件队列调度的服务程序中。

2、平台支持及编译

整个工程目前支持 Linux(AS4,5,6, CS4,5,6, ubuntu), Windows, MacOS, FreeBSD, Solaris。

• Linux/UNIX: 编译器为 gcc，直接在终端命令行方式下分别进入 lib_acl/lib_protocol/lib_acl_cpp/lib_dict/lib_tls 目录下，运行 make 命令便可。

• Windows: 能够用 VC2003/VC2008/VC2010/VC2012 进行编译。(若是须要用 VC6/VC2005 编译，能够参考 VC2003 的编译条件)。

当在 WIN32 环境下使用动态库时有几点须要注意：

• 使用 lib_acl 的动态库时，须要在用户的工程预约义: ACL_DLL;

• 使用 lib_protocol 动态库中的 HTTP 库或 ICMP 库时，须要在工程中预约义 HTTP_DLL 或 ICMP_DLL;

• 使用 lib_acl_cpp 的动态库时，须要在工程中预约义 ACL_CPP_DLL，若是您使用用 VC2003 编译环境则还须要预约义 VC2003;

• 使用 lib_dict 的动态库时，须要在工程中预约义 DICT_DLL;

• 使用 lib_tls 的动态库时，须要在工程中预约义 TLS_DLL。  

3、项目资料

github: https://github.com/zhengshuxin/acl

sourceforge：http://sourceforge.net/projects/acl/

相关技术博客：http://zsxxsz.iteye.com/

 

acl 工程有大量的测试用例（近200个）：https://github.com/zhengshuxin/acl/blob/master/SAMPLES.md

此外，还几个实用的工具：

一、服务器程序生成向导：https://github.com/zhengshuxin/acl/tree/master/app/wizard，使用该工具，能够快速地建立网络服务器程序（甚至于 HTTP WEB 服务器程序）

二、全局惟一ID产生器：https://github.com/zhengshuxin/acl/tree/master/app/gid

三、网络状态监控工具（WIN32）：https://github.com/zhengshuxin/acl/tree/master/app/net_tools

四、TCP 链接分配器：https://github.com/zhengshuxin/acl/tree/master/app/master_dispatch

五、字符集转换器：https://github.com/zhengshuxin/acl/tree/master/app/jencode