socket编程python
中篇对socket的搭建服务端与客户端的链接进行了代码实现化,以及socket内置方法的认识及运用。算法
粘包现象的出现shell
在中篇中，对于tcp和udp制做了一个远程执行命令的程序（1：执行错误命令 2：执行ls 3：执行ifconfig）编程
在tcp下:在运行时会发生粘包缓存
在udp下:在运行时永远不会发生粘包服务器
什么是粘包网络
在上篇中,对于socket的收发消息的原理进行了一些阐释数据结构
所谓粘包,主要仍是由于接受方不知道消息之间的界限,不知道一次提取多少字节的数据所形成的。并发
此外，发送方引发的粘包是由TCP协议自己形成的，TCP为提升传输效率，发送方每每要收集到足够多的数据后才发送一个TCP段。若连续几回须要send的数据都不多，一般TCP会根据优化算法把这些数据合成一个TCP段后一次发送出去，这样接收方就收到了粘包数据。异步
- TCP（transport control protocol，传输控制协议）是面向链接的，面向流的，提供高可靠性服务。收发两端（客户端和服务器端）都要有一一成对的socket，所以，发送端为了将多个发往接收端的包，更有效的发到对方，使用了优化方法（Nagle算法），将屡次间隔较小且数据量小的数据，合并成一个大的数据块，而后进行封包。这样，接收端，就难于分辨出来了，必须提供科学的拆包机制。 即面向流的通讯是无消息保护边界的。
- UDP（user datagram protocol，用户数据报协议）是无链接的，面向消息的，提供高效率服务。不会使用块的合并优化算法，, 因为UDP支持的是一对多的模式，因此接收端的skbuff(套接字缓冲区）采用了链式结构来记录每个到达的UDP包，在每一个UDP包中就有了消息头（消息来源地址，端口等信息），这样，对于接收端来讲，就容易进行区分处理了。 即面向消息的通讯是有消息保护边界的。
- tcp是基于数据流的，因而收发的消息不能为空，这就须要在客户端和服务端都添加空消息的处理机制，防止程序卡住，而udp是基于数据报的，即使是你输入的是空内容（直接回车），那也不是空消息，udp协议会帮你封装上消息头，实验略
粘包有俩种现象
1、发送数据时间间隔很短，数据了很小，会合到一块儿，产生粘包
from socket import * ip_port=('127.0.0.1',8082) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) conn,addr=tcp_server.accept() data1=conn.recv(buffer_size) #指定buffer_size ,获得的结果就是经过Nagle算法，随机接收次数。 print('第1次数据',data1) data2=conn.recv(buffer_size) print('第2次数据',data2) data3=conn.recv(buffer_size) print('第3次数据',data3)
from socket import * import time ip_port=('127.0.0.1',8082) back_log=5 buffer_size=1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) tcp_client.send('hello'.encode('utf-8')) tcp_client.send('world'.encode('utf-8')) tcp_client.send('egon'.encode('utf-8'))
第1次数据 b'helloworldegon' 第2次数据 b'' 第3次数据 b''
2、客户端发送了一段数据，服务端只收了一小部分，服务端下次再收的时候仍是从缓冲区拿上次遗留的数据，产生粘包
from socket import * ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) conn,addr=tcp_server.accept() data1=conn.recv(1) print('第1次数据',data1) # data2=conn.recv(5) # print('第2次数据',data2) # # data3=conn.recv(1) # print('第3次数据',data3)
from socket import * import time ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 #接收的数据只有1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) tcp_client.send('helloworldegon'.encode('utf-8')) time.sleep(1000)
第1次数据 b'h' 第2次数据 b'ellow' #发送的数据过大，接收的数据设置的较小，就会出现致使粘包 第3次数据 b'o'
补充知识：
一、tcp是可靠传输
tcp在数据传输时，发送端先把数据发送到本身的缓存中，而后协议控制将缓存中的数据发往对端，对端返回一个ack=1，发送端则清理缓存中的数据，对端返回ack=0，则从新发送数据，因此tcp是可靠的。
二、udp是不可靠传输
udp发送数据，对端是不会返回确认信息的，所以不可靠。
基于中篇的实现远程命令的例子,做出解决粘包的方法
#low版解决粘包版本服务端 from socket import * import subprocess ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_server=socket(AF_INET,SOCK_STREAM) tcp_server.bind(ip_port) tcp_server.listen(back_log) while True: conn,addr=tcp_server.accept() print('新的客户端连接',addr) while True: #收消息 try: cmd=conn.recv(buffer_size) if not cmd:break print('收到客户端的命令',cmd) #执行命令，获得命令的运行结果cmd_res res=subprocess.Popen(cmd.decode('utf-8'),shell=True, stderr=subprocess.PIPE, stdout=subprocess.PIPE, stdin=subprocess.PIPE) err=res.stderr.read() if err: cmd_res=err else: cmd_res=res.stdout.read() #发送消息 if not cmd_res: cmd_res='执行成功'.encode('gbk') length=len(cmd_res) #计算长度 conn.send(str(length).encode('utf-8')) #把长度发给客户端 client_ready=conn.recv(buffer_size) #卡着一个recv if client_ready == b'ready': #若是收到客户端的ready消息，就说明准备好了。 conn.send(cmd_res) #就能够send给客户端发送消息啦！ except Exception as e: print(e) break
#low版解决粘包版客户端 from socket import * ip_port=('127.0.0.1',8080) back_log=5 buffer_size=1024 tcp_client=socket(AF_INET,SOCK_STREAM) tcp_client.connect(ip_port) while True: cmd=input('>>: ').strip() if not cmd:continue if cmd == 'quit':break tcp_client.send(cmd.encode('utf-8')) #解决粘包 length=tcp_client.recv(buffer_size) #接收发送过来的长度（1024*8=8192，2**8192=能够接收的长度） tcp_client.send(b'ready') #客户端再send给服务端，告诉服务端我准备好啦！ length=int(length.decode('utf-8')) #先解码，转成字符串的长度 #解决思路：就是提早发一个头过去，告诉客户端须要接收的长度（分两步：一、发送发度 二、再次发送数据） recv_size=0 #接收的尺寸 recv_msg=b'' #最后要拼接起来 while recv_size < length: #要收多大？，要先判断接收的尺寸<length recv_msg += tcp_client.recv(buffer_size) #接收到的数据，拼接buffer_size， recv_size=len(recv_msg) #1024 #衡量本身接收了多少数据,有没有收完（统计recv_msg的长度） print('命令的执行结果是 ',recv_msg.decode('gbk')) tcp_client.close()
通过以上代码处理,再次进行 ipconfig dir这些命令则能够恢复正常,不会出现粘包问题
总结：
（为什么low): 程序的运行速度远快于网络传输速度，因此在发送一段字节前，先用send去发送该字节流长度，这种方式会放大网络延迟带来的性能损耗。
接下来,有一种新的方式处理粘包的问题
import socket,time,subprocess,pickle,struct ip_port=('127.0.0.1',8080) s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) s.bind(ip_port) s.listen(5) while True: conn,addr=s.accept() print('客户端',addr) while True: msg=conn.recv(1024) if not msg:break res=subprocess.Popen(msg.decode('utf-8'),shell=True, stdin=subprocess.PIPE, stderr=subprocess.PIPE, stdout=subprocess.PIPE) err=res.stderr.read() if err: ret=err else: ret=res.stdout.read() l=struct.pack('i',len(ret)) conn.sendall(l+ret) # conn.send(str(len(ret)).encode('utf-8')) conn.close()
import socket,time,struct s=socket.socket(socket.AF_INET,socket.SOCK_STREAM) res=s.connect_ex(('127.0.0.1',8080)) while True: msg=input('>>: ').strip() if len(msg) == 0:continue if msg == 'quit':break s.send(msg.encode('utf-8')) l=s.recv(4) x=struct.unpack('i',l)[0] print(type(x),x) # print(struct.unpack('I',l)) r_s=0 data=b'' while r_s < x: r_d = s.recv(1024) data += r_d r_s += len(r_d) print(data.decode('gbk'))
在解决了TCP的粘包问题,那么又该怎么解决TCP的并发问题
SocketServer是基于socket写成的一个更强大的模块。
SocketServer简化了网络服务器的编写。它有4个类：TCPServer，UDPServer，UnixStreamServer，UnixDatagramServer。这4个类是同步进行处理的，另外经过ForkingMixIn和ThreadingMixIn类来支持异步。
在python3中该模块是socketserver
在python2中该模块是Socketserver
服务器
服务器要使用处理程序，必须将其出入到服务器对象，定义了5个基本的服务器类型(就是“类”)。BaseServer，TCPServer，UnixStreamServer，UDPServer，UnixDatagramServer。注意：BaseServer不直接对外服务。
服务器：
要使用处理程序，必须将其传入到服务器的对象，定义了四个基本的服务器类。
（1）TCPServer(address,handler) 支持使用IPv4的TCP协议的服务器，address是一个（host,port）元组。Handler是BaseRequestHandler或StreamRequestHandler类的子类的实例。
（2）UDPServer(address,handler) 支持使用IPv4的UDP协议的服务器，address和handler与TCPServer中相似。
（3）UnixStreamServer(address,handler) 使用UNIX域套接字实现面向数据流协议的服务器，继承自TCPServer。
（4）UnixDatagramServer(address,handler) 使用UNIX域套接字实现数据报协议的服务器，继承自UDPServer。
这四个类的实例都有如下方法。
一、s.socket 用于传入请求的套接字对象。
二、s.sever_address 监听服务器的地址。如元组（"127.0.0.1",80）
三、s.RequestHandlerClass 传递给服务器构造函数并由用户提供的请求处理程序类。
四、s.serve_forever() 处理无限的请求 #无限处理client链接请求
五、s.shutdown() 中止serve_forever()循环
SocketServer模块中主要的有如下几个类：
一、BaseServer 包含服务器的核心功能与混合类（mix-in）的钩子功能。这个类主要用于派生，不要直接生成这个类的类对象，能够考虑使用TCPServer和UDPServer类。
二、TCPServer 基本的网络同步TCP服务器
三、UDPServer 基本的网络同步UDP服务器
四、ForkingTCPServer 是ForkingMixIn与TCPServer的组合
五、ForkingUDPServer 是ForkingMixIn与UDPServer的组合
六、ThreadingUDPServer 是ThreadingMixIn和UDPserver的组合
七、ThreadingTCPServer 是ThreadingMixIn和TCPserver的组合
八、BaseRequestHandler 必须建立一个请求处理类，它是BaseRequestHandler的子类并重载其handle()方法。
九、StreamRequestHandler 实现TCP请求处理类的
十、DatagramRequestHandler 实现UDP请求处理类的
十一、ThreadingMixIn 实现了核心的线程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
十二、ForkingMixIn 实现了核心的进程化功能，用于与服务器类进行混合(mix-in)，以提供一些异步特性。不要直接生成这个类的对象。
建立服务端的步骤：
1：首先必须建立一个请求处理类
2：它是BaseRequestHandler的子类
3：该请求处理类是BaseRequestHandler的子类并从新写其handle()方法
4：必需要有一个handle()方法,规则定义死的
实例化 请求处理类传入服务器地址和请求处理程序类
最后实例化调用serve_forever() #无限处理client请求
记住一个原则：对tcp来讲：self.request=conn
在这里做一个简单的小例子
# TCP下实现的并发 import socketserver class Myserver(socketserver.BaseRequestHandler): # 必需要继承这个类 def handle(self): # 必需要有这个方法 print(self.request) # 至关于conn print(self.client_address) # 链接过来的客户端地址 while True: try: data = self.request.recv(1024) if not data:break print("收到来自%s的消息是: %s" %(self.client_address,data.decode("utf-8"))) nr = input(">>>") self.request.sendall(nr.encode("utf-8")) except Exception: break if __name__ == '__main__': # ip_port = input("请输入ip和端口") obj = socketserver.ThreadingTCPServer(("127.0.0.1",6060),Myserver) obj.serve_forever()
import socket ip_port = ("127.0.0.1",6060) buffer_size = 1024 s = socket.socket(socket.AF_INET,socket.SOCK_STREAM) s.connect(ip_port) while True: nr = input(">>>").strip() # if not nr:continue s.sendall(bytes(nr, encoding="utf-8")) res = s.recv(buffer_size) print("来自远方的消息",str(res, encoding="utf-8"))
源码剖析。。。未完待续……