高性能 TCP & UDP 通讯框架 HP-Socket v3.3.1

时间  2019-11-18 标签 高性能 tcp udp 通讯 框架 socket v3.3.1

HP-Socket

　　HP-Socket 是一套通用的高性能 TCP/UDP 通讯框架，包含服务端组件、客户端组件和 Agent 组件，普遍适用于各类不一样应用场景的 TCP/UDP 通讯系统，提供 C/C++、C#、Delphi、E（易语言）、Java、Python 等编程语言接口。HP-Socket 对通讯层实现彻底封装，应用程序没必要关注通讯层的任何细节；HP-Socket 提供基于事件通知模型的 API 接口，能很是简单高效地整合到新旧应用程序中。html

　　为了让使用者能方便快速地学习和使用 HP-Socket，迅速掌握框架的设计思想和使用方法，特此精心制做了大量 Demo 示例（如：PUSH 模型示例、PULL 模型示例、性能测试示例以及其它编程语言示例）。HP-Socket 目前运行在 Windows 平台，未来会实现跨平台支持。java

----------------------------------------------------------------编程

通用性缓存

  • HP-Socket 的惟一职责就是接收和发送字节流，不参与应用程序的协议解析等工做。
  • HP-Socket 与应用程序经过接口进行交互，并彻底解耦。任何应用只要实现了 HP-Socket 的接口规范均可以无缝整合 HP-Socket。

易用性安全

　　易用性对全部通用框架都是相当重要的，若是太难用还不如本身重头写一个来得方便。所以，HP-Socket 的接口设计得很是简单和统一。服务器

　　HP-Socket 彻底封装了全部底层通讯细节，应用程序没必要也不能干预底层通讯操做。通讯链接被抽象为 Connection ID，Connection ID 做为链接的惟一标识提供给应用程序来处理不一样的链接。架构

高性能并发

　　HP-Socket 做为底层的通用框架，性能是关键指标，绝对不能成为系统的瓶颈。HP-Socket 在设计上充分考虑性能、使用场景、复杂性和易用性等因素，做出如下几点设计决策：app

  • Client 组件：基于 Event Select 通讯模型，在单独线程中执行通讯操做，避免与主线程或其余线程相互干扰。每一个组件对象管理一个 Socket 链接。
  • Server 组件：基于 IOCP 通讯模型，并结合缓存池、私有堆（Private Heap）等技术，支持超大规模链接，在高并发场景下实现高效内存管理。
  • Agent 组件：对于代理服务器或中转服务器等应用场景，服务器自身也做为客户端向其它服务器发起大规模链接，一个 Agent 组件对象同时可管理多个 Socket 链接；Agent 组件与 Server 组件采用相同的技术架构，能够用做代理服务器或中转服务器的客户端部件。

伸缩性框架

　　应用程序可以根据不一样的容量要求、通讯规模和资源情况等现实场景调整 HP-Socket 的各项性能参数（如：工做线程的数量、缓存池的大小、发送模式和接收模式等），优化资源配置，在知足应用需求的同时没必要过分浪费资源。

　　 (项目主页：点击这里，下载地址：点击这里)

*** v3.3.1更新 ***

 > 组件接口调整：

-----------------
  1. IClientListener 监听器接口用 IClient* 参数取代 CONNID 参数标识 Client 组件对象
  2. 增长 IPullClient 接口，用做 PULL Client 组件的基接口
  3. IPullSocket 和 IPullClient 接口增长 Peek() 方法用于窥探缓冲区数据（不会移除缓冲区数据）
  4. 增长 IComplexSocketListener 监听器接口，用做 Server/Agent 组件的监听器基接口
  5. IComplexSocketListener 提供 OnShutdown 通知方法取代 Server/Agent 组件原来的 OnServerShutdown/OnAgentShutdown
  6. IClient组件增长 Get/SetExtra() 方法用于保存自定义附加数据
  7. IServer 和 IAgent 组件增长“静默链接处理”相关方法：
     
    1) DisconnectSilenceConnections()：// 断开超过指定时长的静默链接
2) GetSilencePeriod()：// 获取某个链接静默时间（毫秒）
3) SetMarkSilence()：// 设置是否标记静默时间
4) IsMarkSilence()：// 检测是否标记静默时间

 > 增长 UdpCast 通讯组件：

-----------------
  1. UdpClient / UdpServer 用于 C/S 模式的点对点单播通讯，但在某些应用场景下，须要用到组播或广播通讯
  2. UdpCast 实现了组播或广播通讯，UdpCast 提供 IUdpCast 接口，该接口继承自 IClient，有如下接口方法：
     
    /* 1) 通知接口方法： */
  OnPrepareConnect(IClient* pClient, SOCKET socket)
  OnConnect(IClient* pClient)
  OnSend(IClient* pClient, const BYTE* pData, int iLength)
  OnReceive(IClient* pClient, const BYTE* pData, int iLength)
  OnClose(IClient* pClient)
  OnError(IClient* pClient, EnSocketOperation enOperation, int iErrorCode)

/* 2) 主要操做方法： */
  Start(LPCTSTR pszBindAddress = nullptr, BOOL bAsyncConnect = TRUE /*该参数被忽略*/)
  Stop()
  Connect(LPCTSTR pszRemoteAddress, USHORT usPort, CONNID* pdwConnID = nullptr)
  Send(CONNID dwConnID, const BYTE* pBuffer, int iLength, int iOffset = 0)
  SendPackets(const WSABUF pBuffers[], int iCount)
  3. 增长 UdpCast 使用示例：TestUDPCast

> 升级说明：

-----------------
  1. HP-Socket v3.3.1 在功能上兼容 HP-Socket v3.2.3 版本，但代码级别不彻底兼容
  2. HP-Socket v3.2.3 升级到 HP-Socket v3.3.1 须要注意如下调整：
     
    1) Client 组件
  a) IClientListener 监听器接口调整，全部通知方法的参数有调整
  b) PULL Client 用 IPullClient 做为基接口，Fetch()/Peek()方法参数有调整
2) Agent/Server 组件
  a) OnShutdown 取代 OnServerShutdown/OnAgentShutdown

*** v3.2.3更新 ***

 > common-src 优化：

-----------------
  1. 优化通讯组件的同步机制
  2. 总体性能提高约 10%

> 升级说明：

-----------------
  1. 使用 HP-Socket v3.2.2 及之前版本的应用程序能够安全升级到 HP-Socket v3.2.3

*** v3.2.2 更新 ***

 > 增长若干帮助方法：

-----------------
  1. 批量发送方法 SendPackets() 
    1) IClient/IServer/IAgent 增长方法 SendPackets(dwConnID, pBuffers[], iBufferCount)
2) 对于 TCP 组件 - 顺序发送全部数据包
3) 对于 UDP 组件 - 把全部数据包组合成一个数据包发送（总长度不能大于 UDP 包最大长度）
  2. 小文件发送方法 SendSmallFile() 
    1) ITcpClient/ITcpServer/ITcpAgent 增长方法 SendSmallFile(lpszFileName, pHead, pTail)
2) 经过 pHead 和 pTail 参数，能够分别在文件数据的头部和尾部加入自定义数据
3) SendSmallFile() 只能发送 4096 KB 之内大小的文件
  3. HPSocket.dll 和 HPSocket4C.dll 增长如下导出方法 
    1) SYS_WSAGetLastError()：调用系统的 WSAGetLastError()
2) SYS_SetSocketOption()：调用系统的 setsockopt()
3) SYS_GetSocketOption()：调用系统的 getsockopt()
4) SYS_IoctlSocket()	：调用系统的 ioctlsocket()
5) SYS_WSAIoctl()	：调用系统的 WSAIoctl()

> 升级说明：

-----------------
  1. 使用 HP-Socket v3.2.1 及之前版本的应用程序能够安全升级到 HP-Socket v3.2.2

*** v3.2.1 更新 ***

 > 增长 TcpAgent / TcpPullAgent 通讯组件：

-----------------
  1. 对于代理服务器或中转服务器等应用场景，服务器自身也做为客户端向其它服务器发起大规模链接
  2. TcpClient / TcpPullClient 基于 Event Select 通讯模型，每一个组件对象管理一个 Socket，并开启一个线程，不适合上述应用场景
  3. TcpAgent / TcpPullAgent 基于 IOCP 通讯模型，一个组件对象管理多个 Socket，适合用做代理服务器或中转服务器的客户端通讯组件
  4. TcpAgent / TcpPullAgent 的使用方式依然简单，提供如下接口方法： 
    /* 1) 通知接口方法 */
OnPrepareConnect(CONNID dwConnID, SOCKET socket)
OnConnect(CONNID dwConnID)
OnSend(CONNID dwConnID, const BYTE* pData, int iLength)
OnReceive(CONNID dwConnID, const BYTE* pData, int iLength)	//（Push 模型）
OnReceive(CONNID dwConnID, int iLength)				//（Pull 模型）
OnClose(CONNID dwConnID)
OnError(CONNID dwConnID, EnSocketOperation enOperation, int iErrorCode)
OnAgentShutdown()

/* 2) 主要操做方法 */
Start(LPCTSTR pszBindAddress = nullptr, BOOL bAsyncConnect = TRUE)
Stop()
Connect(LPCTSTR pszRemoteAddress, USHORT usPort, CONNID* pdwConnID = nullptr)
Send(CONNID dwConnID, const BYTE* pBuffer, int iLength)
Disconnect(CONNID dwConnID, BOOL bForce = TRUE)
Fetch(CONNID dwConnID, BYTE* pData, int iLength)	//（Pull 模型）
  5. 增长 TcpAgent / TcpPullAgent 使用示例：Agent-PFM / Agent-Pull / Agent-4C
  6. 增长 TcpAgent + TcpServer 实现的 HTTP 代理服务器示例：HttpProxy

> 增长 HPSocket for Java SDK：

-----------------
  1. 提供 Java 开发包：hpsocket-3.2.1.jar（经过 JNA 实现，目前只支持 Windows 平台）
  2. 运行环境：JDK 1.6+，JVM 运行在 server 模式（"java -server"，在 client 模式下性能受影响）
  3. MBCS 和 Unicode 版本分布位于包 org.jessma.hpsocket.mbcs 和 org.jessma.hpsocket.unicode
  4. HPSocket for Java SDK 提供如下通讯组件： 
    1) TcpServer：TCP 通讯服务端组件，支持 PUSH/PULL 模型
2) TcpClient：TCP 通讯客户端组件，支持 PUSH/PULL 模型
3) TcpAgent ：TCP 通讯 Agent 组件，支持 PUSH/PULL 模型
4) UdpServer：UDP 通讯服务端组件，支持 PUSH 模型
5) UdpClient：UDP 通讯客户端组件，支持 PUSH 模型
  5. HPSocket4J 的使用方法（以 TcpAgent 为例）： 
    /* 0: 应用程序加入 hpsocket-3.2.1.jar 和 jna-4.1.0.jar */

/* 1: 建立通讯组件对象 */
TcpAgent agent = TcpAgent.create(Mode.PUSH);

/* 2: 设置回调函数对象 */
// （可选）
agent.setCallBackOnPrepareConnect(new OnPrepareConnectImpl());
// （可选）
agent.setCallBackOnConnect(new OnConnectImpl());
// （必须）PUSH 模型须要设置 OnReceive 回调函数对象
agent.setCallBackOnReceive(new OnReceiveImpl());
// （必须）PULL 模型须要设置 OnPullReceive 回调函数对象
// agent.setCallBackOnPullReceive(new OnPullReceiveImpl());
// （可选）
agent.setCallBackOnSend(new OnSendImpl());
// （必须）
agent.setCallBackOnClose(new OnCloseImpl());
// （必须）
agent.setCallBackOnError(new OnErrorImpl());
// （可选）
agent.setCallBackOnAgentShutdown(new OnAgentShutdownImpl());

/* 3：启动通讯组件 */
agent.start("127.0.0.1", false);

/* 4：链接服务器 */
agent.connect("localhost", (short)5555, pdwConnID);

/* 5：处理通讯数据 */
// 响应 OnReceive / OnPullReceive 事件接收数据
// 使用 agent.send(dwConnID, data, data.length) 发送数据

/* 6：关闭通讯组件 */
agent.stop();

/* 7：销毁通讯组件 */
TcpAgent.destroy(agent);
  6. 增长示例工程 TestEcho-4J，展现 HPSocket4J 的使用方法（包括 PULL 模型示例和性能测试示例）

> 优化数据收发策略：

-----------------
  1. Server 和 Agent 组件提供如下三种数据发送策略 
    1）PACK - 打包模式（默认）：尽可能把多个发送操做的数据组合在一块儿，增长传输效率
2）SAFE - 安全模式	  ：尽可能把多个发送操做的数据组合在一块儿，控制传输速度，避免缓冲区溢出
3）DIRECT - 直接模式	  ：对每个发送操做都直接投递，适用于负载不高但要求实时性较高的场合
  2. Server 和 Agent 组件提供如下两种数据接收策略 
    1）SERIAL - 串行模式（默认）：顺序触发同一链接的 OnReceive 和 OnClose/OnError 事件
2）PARALLEL - 并行模式：在不一样的通讯线程中同时触发同一链接的 OnReceive 和 OnClose/OnError 事件

*** v3.1.3 更新 ***

 > 增长其它语言 Demo：

-----------------
  1. C#
  2. Delphi
  3. E 语言

> Bug Fix：

-----------------
  1. 修复 IP 地址判断错误 Bug
      
    1) 客户端链接服务器时，若是服务器 IP 地址满位（12个数字：‘AAA.BBB.CCC.DDD’），IP 地址解析错误
2) 影响组件：全部 TCP/UDP 客户端组件
3) 影响版本：v3.1.2 及以前全部版本
     
  2. 修复域名或主机名的 IP 地址解析错误 Bug
      
    1) 客户端组件经过域名或主机名链接服务器时，可能会解析到错误的 IP 地址
2) 影响组件：全部 TCP/UDP 客户端组件
3) 影响版本：v3.1.2 及以前全部版本

*** v3.1.2 更新 ***

 > 修改 Server 组件的 OnClose() / OnError() 事件的触发规则：

-----------------
  1. 之前版本的 TCP/UDP Server 组件中，当关闭一个链接时可能会同时触发一个 OnClose() 事件和若干个 OnError() 事件
  2. 因为存在上述可能性，因此应用程序须要对 OnClose() / OnError() 的处理事件代码段进行同步
  3. 从 v3.1.2 开始，当多个 OnClose() / OnError() 事件同时发生时，组件只会向应用程序通知第一个事件，后续事件则忽略
  4. 所以，应用程序在处理 OnClose() / OnError() 事件时没必要处理同步，减小了出错的可能和编写同步及检测代码的负担
  5. 示例代码

     
    /* 示例代码一：*/
/*----------------------------------------------------------------------------*/
ISocketListener::EnHandleResult CServerDlg::OnClose(CONNID dwConnID)
{
	// 之前版本：有可能存在并发的 OnClose()/OnError()，要把代码放在临界区中并检测返回值

	CCriSecLock locallock(m_csPkgInfo);	// <-- 临界区

	PVOID pInfo = nullptr;
	// <-- 检测返回值
	if(m_Server->GetConnectionExtra(dwConnID, &pInfo) && pInfo != nullptr)
	{
		m_Server->SetConnectionExtra(dwConnID, nullptr);
		delete pInfo;
	}
}

/* 示例代码二：*/
/*----------------------------------------------------------------------------*/
ISocketListener::EnHandleResult CServerDlg::OnClose(CONNID dwConnID)
{
	// v3.1.2 版本：只会接收到一个 OnClose()/OnError() 事件，能安全地移除临界区代码和检测代码

	PVOID pInfo = nullptr;
	m_Server->GetConnectionExtra(dwConnID, &pInfo);
	ASSERT(pInfo != nullptr);

	delete pInfo;
}

*** v3.1.1 更新 ***

 > 增长导出纯 C 函数的动态连接库 HPSocket4C.dll：

-----------------
  1. 增长代码文件 HPSocket4C.h 和 HPSocket4C.cpp，用于建立 HPSocket4C.dll
  2. 导出纯 C 函数，让其它语言（如：C/C#/Delphi 等）能方便地使用 HPSocket
  3. HPSocket4C.dll 使用方法 
    方法一：
------------------------------------------------------------------------------
(0) （C/C++ 程序）包含 HPSocket4C.h 头文件
(1) 调用 ::Create_HP_XxxListener() 函数建立监听器对象
(2) 调用 ::Create_HP_Xxx(pListener) 函数建立 HPSocket 对象
(3) 调用 ::HP_Set_FN_Xxx_OnYyy(pListener, ...) 函数设置监听器的回调函数
(4) 调用相关导出函数操做 HPSocket 对象
(5) ...... ......
(6) 调用 ::Destroy_HP_Xxx(pSocket) 函数销毁 HPSocket 对象
(7) 调用 ::Destroy_HP_XxxListener(pListener) 函数销毁监听器对象

方法二：
------------------------------------------------------------------------------
(1) 应用程序把须要用到的导出函数封装到特定语言的包装类中
(2) 经过包装类封装后，以面向对象的方式使用 HPSocket
  4. 动态连接库发行版本 
    (1) x86/HPSocket4C.dll		- (32位/MBCS/Release)
(2) x86/HPSocket4C_D.dll	- (32位/MBCS/DeBug)
(3) x86/HPSocket4C_U.dll	- (32位/UNICODE/Release)
(4) x86/HPSocket4C_UD.dll	- (32位/UNICODE/DeBug)
(5) x64/HPSocket4C.dll		- (64位/MBCS/Release)
(6) x64/HPSocket4C_D.dll	- (64位/MBCS/DeBug)
(7) x64/HPSocket4C_U.dll	- (64位/UNICODE/Release)
(8) x64/HPSocket4C_UD.dll	- (64位/UNICODE/DeBug)

> 全面启用 Buffer Pool 缓存机制：

-----------------
  1. Common/Src 增长代码文件 bufferpool.h 和 bufferpool.cpp，实现 Buffer Pool 缓存机制
  2. 经过 Buffer Pool 缓存机制提高内存使用效率，减小动态内存分配和释放操做，避免内存空洞
  3. ICTcpClient 用 CItemPool 和 TItemList 实现发送缓冲区
  4. CUdpClient 用 CItemPool 和 TItemList 实现发送缓冲区
  5. CTcpPullClient 用 CItemPool 和 TItemList 实现发送缓冲区和 PULL 缓冲区
  6. CTcpPullServer 用 CBufferPool 和 TBuffer 实现 PULL 缓冲区

*** v3.0.2 更新 ***

 > 把 HP-Socket 编译为动态连接库：

-----------------

  1. 应用程序能够经过导入源代码或动态连接库方式使用 HP-Socket
  2. 动态连接库使用方法 
    方法一：
------------------------------------------------------------------------------
(0) 应用程序包含 SocketInterface.h 和 HPSocket.h 头文件
(1) 调用 HP_Create_Xxx() 函数建立 HPSocket 对象
(2) 使用完毕后调用 HP_Destroy_Xxx() 函数销毁 HPSocket 对象

方法二：
------------------------------------------------------------------------------
(0) 应用程序包含 SocketInterface.h 和 HPSocket.h 头文件
(1) 建立 CXxxWrapper 包装器，经过包装器智能指针使用 HPSocket 对象
  3. 动态连接库发行版本 
    (1) x86/HPSocket.dll      - (32位/MBCS/Release)
(2) x86/HPSocket_D.dll    - (32位/MBCS/DeBug)
(3) x86/HPSocket_U.dll    - (32位/UNICODE/Release)
(4) x86/HPSocket_UD.dll   - (32位/UNICODE/DeBug)
(5) x64/HPSocket.dll      - (64位/MBCS/Release)
(6) x64/HPSocket_D.dll    - (64位/MBCS/DeBug)
(7) x64/HPSocket_U.dll    - (64位/UNICODE/Release)
(8) x64/HPSocket_UD.dll   - (64位/UNICODE/DeBug)

*** v3.0.1 更新 ***

 > 新增 UDP 通讯组件：

-----------------

  1. 新增两个 UDP 通讯组件：CUdpServer 为服务端组件，CUdpClient 为客户端组件
  2. 服务端组件 CUdpServer 采用 IOCP 通讯模型
  3. 客户端组件 CUdpClient 采用 Event Select 通讯模型
  4. UDP 通讯组件的接口与原 TCP 通讯组件一致，简单实用
  5. UDP 通讯组件内置通讯线路自动监测机制
  6. 新增 UDP 通讯组件示例工程 TestEcho-UDP

> 代码重构与优化：

-----------------

  1. 规范全部接口、类以及代码文件的命名
  2. 重构和优化了大量组件代码
  3. 服务端组件加入读写锁机制，有效平衡处理性能与安全性
  4. 服务端组件的 Socket 对象缓存列表设置了锁定时间，提升访问的安全性
联系我们 沪ICP备13005482号-10