在 Java 语言中,传统的 Socket 编程分为两种实现方式,这两种实现方式也对应着两种不一样的传输层协议:TCP 协议和 UDP 协议,但做为互联网中最经常使用的传输层协议 TCP,在使用时却会致使粘包和半包问题,因而为了完全的解决此问题,便诞生了此篇文章。java
TCP 全称是 Transmission Control Protocol(传输控制协议),它由 IETF 的 RFC 793 定义,是一种面向链接的点对点的传输层通讯协议。git
TCP 经过使用序列号和确认消息,从发送节点提供有关传输到目标节点的数据包的传递的信息。TCP 确保数据的可靠性,端到端传递,从新排序和重传,直到达到超时条件或接收到数据包的确认为止。github
TCP 是 Internet 上最经常使用的协议,它也是实现 HTTP(HTTP 1.0/HTTP 2.0)通信的基础,当咱们在浏览器中请求网页时,计算机会将 TCP 数据包发送到 Web 服务器的地址,要求它将网页返还给咱们,Web 服务器经过发送 TCP 数据包流进行响应,而后浏览器将这些数据包缝合在一块儿以造成网页。编程
TCP 的所有意义在于它的可靠性,它经过对数据包编号来对其进行排序,并且它会经过让服务器将响应发送回浏览器说“已收到”来进行错误检查,所以在传输过程当中不会丢失或破坏任何数据。数组
目前市场上主流的 HTTP 协议使用的版本是 HTTP/1.1,以下图所示:浏览器
粘包问题是指当发送两条消息时,好比发送了 ABC 和 DEF,但另外一端接收到的倒是 ABCD,像这种一次性读取了两条数据的状况就叫作粘包(正常状况应该是一条一条读取的)。缓存
半包问题是指,当发送的消息是 ABC 时,另外一端却接收到的是 AB 和 C 两条信息,像这种状况就叫作半包。服务器
这是由于 TCP 是面向链接的传输协议,TCP 传输的数据是以流的形式,而流数据是没有明确的开始结尾边界,因此 TCP 也没办法判断哪一段流属于一个消息。网络
缓冲区又称为缓存,它是内存空间的一部分。也就是说,在内存空间中预留了必定的存储空间,这些存储空间用来缓冲输入或输出的数据,这部分预留的空间就叫作缓冲区。socket
缓冲区的优点以文件流的写入为例,若是咱们不使用缓冲区,那么每次写操做 CPU 都会和低速存储设备也就是磁盘进行交互,那么整个写入文件的速度就会受制于低速的存储设备(磁盘)。但若是使用缓冲区的话,每次写操做会先将数据保存在高速缓冲区内存上,当缓冲区的数据到达某个阈值以后,再将文件一次性写入到磁盘上。由于内存的写入速度远远大于磁盘的写入速度,因此当有了缓冲区以后,文件的写入速度就被大大提高了。
接下来咱们用代码来演示一下粘包和半包问题,为了演示的直观性,我会设置两个角色:
而后经过打印服务器端接收到的信息来观察粘包和半包问题。
服务器端代码以下:
/** * 服务器端(只负责接收消息) */ class ServSocket { // 字节数组的长度 private static final int BYTE_LENGTH = 20; public static void main(String[] args) throws IOException { // 建立 Socket 服务器 ServerSocket serverSocket = new ServerSocket(9999); // 获取客户端链接 Socket clientSocket = serverSocket.accept(); // 获得客户端发送的流对象 try (InputStream inputStream = clientSocket.getInputStream()) { while (true) { // 循环获取客户端发送的信息 byte[] bytes = new byte[BYTE_LENGTH]; // 读取客户端发送的信息 int count = inputStream.read(bytes, 0, BYTE_LENGTH); if (count > 0) { // 成功接收到有效消息并打印 System.out.println("接收到客户端的信息是:" + new String(bytes)); } count = 0; } } } }
客户端代码以下:
/** * 客户端(只负责发送消息) */ static class ClientSocket { public static void main(String[] args) throws IOException { // 建立 Socket 客户端并尝试链接服务器端 Socket socket = new Socket("127.0.0.1", 9999); // 发送的消息内容 final String message = "Hi,Java."; // 使用输出流发送消息 try (OutputStream outputStream = socket.getOutputStream()) { // 给服务器端发送 10 次消息 for (int i = 0; i < 10; i++) { // 发送消息 outputStream.write(message.getBytes()); } } } }
以上程序的通信结果以下图所示:
经过上述结果咱们能够看出,服务器端发生了粘包和半包的问题,由于客户端发送了 10 次固定的“Hi,Java.”的消息,正常的结果应该是服务器端也接收到了 10 次固定的消息才对,但现实的结果并不是如此。
粘包和半包的解决方案有如下 3 种:
那么接下来咱们就来演示一下,以上解决方案的具体代码实现。
固定缓冲区大小的实现方案,只须要控制服务器端和客户端发送和接收字节的(数组)长度相同便可。
服务器端实现代码以下:
/** * 服务器端,改进版本一(只负责接收消息) */ static class ServSocketV1 { private static final int BYTE_LENGTH = 1024; // 字节数组长度(收消息用) public static void main(String[] args) throws IOException { ServerSocket serverSocket = new ServerSocket(9091); // 获取到链接 Socket clientSocket = serverSocket.accept(); try (InputStream inputStream = clientSocket.getInputStream()) { while (true) { byte[] bytes = new byte[BYTE_LENGTH]; // 读取客户端发送的信息 int count = inputStream.read(bytes, 0, BYTE_LENGTH); if (count > 0) { // 接收到消息打印 System.out.println("接收到客户端的信息是:" + new String(bytes).trim()); } count = 0; } } } }
客户端实现代码以下:
/** * 客户端,改进版一(只负责接收消息) */ static class ClientSocketV1 { private static final int BYTE_LENGTH = 1024; // 字节长度 public static void main(String[] args) throws IOException { Socket socket = new Socket("127.0.0.1", 9091); final String message = "Hi,Java."; // 发送消息 try (OutputStream outputStream = socket.getOutputStream()) { // 将数据组装成定长字节数组 byte[] bytes = new byte[BYTE_LENGTH]; int idx = 0; for (byte b : message.getBytes()) { bytes[idx] = b; idx++; } // 给服务器端发送 10 次消息 for (int i = 0; i < 10; i++) { outputStream.write(bytes, 0, BYTE_LENGTH); } } } }
以上代码的执行结果以下图所示:
从以上代码能够看出,虽然这种方式能够解决粘包和半包的问题,但这种固定缓冲区大小的方式增长了没必要要的数据传输,由于这种方式当发送的数据比较小时会使用空字符来弥补,因此这种方式就大大的增长了网络传输的负担,因此它也不是最佳的解决方案。
这种解决方案的实现思路是将请求的数据封装为两部分:数据头+数据正文,在数据头中存储数据正文的大小,当读取的数据小于数据头中的大小时,继续读取数据,直到读取的数据长度等于数据头中的长度时才中止。
由于这种方式能够拿到数据的边界,因此也不会致使粘包和半包的问题,但这种实现方式的编码成本较大也不够优雅,所以不是最佳的实现方案,所以咱们这里就略过,直接来看最终的解决方案吧。
以特殊字符结尾就能够知道流的边界了,所以也能够用来解决粘包和半包的问题,此实现方案是咱们推荐最终解决方案。
这种解决方案的核心是,使用 Java 中自带的 BufferedReader
和 BufferedWriter
,也就是带缓冲区的输入字符流和输出字符流,经过写入的时候加上 \n
来结尾,读取的时候使用 readLine
按行来读取数据,这样就知道流的边界了,从而解决了粘包和半包的问题。
服务器端实现代码以下:
/** * 服务器端,改进版三(只负责收消息) */ static class ServSocketV3 { public static void main(String[] args) throws IOException { // 建立 Socket 服务器端 ServerSocket serverSocket = new ServerSocket(9092); // 获取客户端链接 Socket clientSocket = serverSocket.accept(); // 使用线程池处理更多的客户端 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(100, 150, 100, TimeUnit.SECONDS, new LinkedBlockingQueue<>(1000)); threadPool.submit(() -> { // 消息处理 processMessage(clientSocket); }); } /** * 消息处理 * @param clientSocket */ private static void processMessage(Socket clientSocket) { // 获取客户端发送的消息流对象 try (BufferedReader bufferedReader = new BufferedReader( new InputStreamReader(clientSocket.getInputStream()))) { while (true) { // 按行读取客户端发送的消息 String msg = bufferedReader.readLine(); if (msg != null) { // 成功接收到客户端的消息并打印 System.out.println("接收到客户端的信息:" + msg); } } } catch (IOException ioException) { ioException.printStackTrace(); } } }
PS:上述代码使用了线程池来解决多个客户端同时访问服务器端的问题,从而实现了一对多的服务器响应。
客户端的实现代码以下:
/** * 客户端,改进版三(只负责发送消息) */ static class ClientSocketV3 { public static void main(String[] args) throws IOException { // 启动 Socket 并尝试链接服务器 Socket socket = new Socket("127.0.0.1", 9092); final String message = "Hi,Java."; // 发送消息 try (BufferedWriter bufferedWriter = new BufferedWriter( new OutputStreamWriter(socket.getOutputStream()))) { // 给服务器端发送 10 次消息 for (int i = 0; i < 10; i++) { // 注意:结尾的 \n 不能省略,它表示按行写入 bufferedWriter.write(message + "\n"); // 刷新缓冲区(此步骤不能省略) bufferedWriter.flush(); } } } }
以上代码的执行结果以下图所示:
本文咱们讲了 TCP 粘包和半包问题,粘包是指读取到了两条信息,正常状况下消息应该是一条一条读取的,而半包问题是指读取了一半信息。致使粘包和半包的缘由是 TCP 的传输是以流的形式进行的,而流数据是没有明确的开始和结尾标识的,所以就致使了此问题。
本文咱们提供了 3 种粘包和半包的解决方案,其中最推荐的是使用 BufferedReader
和 BufferedWriter
按行来读、写和区分消息,也就是本文的第三种解决方案。
https://zhuanlan.zhihu.com/p/126279630
https://www.jianshu.com/p/6a4ec6095f2c
关注公众号「Java中文社群」发现更多干货。查看 Github 发现更多精彩:https://github.com/vipstone/a...