Python之路【第六篇】：socket

时间 2019-11-15

原文原文链接

Socket

socket一般也称做"套接字"，用于描述IP地址和端口，是一个通讯链的句柄，应用程序一般经过"套接字"向网络发出请求或者应答网络请求。html

socket起源于Unix，而Unix/Linux基本哲学之一就是“一切皆文件”，对于文件用【打开】【读写】【关闭】模式来操做。socket就是该模式的一个实现，socket便是一种特殊的文件，一些socket函数就是对其进行的操做（读/写IO、打开、关闭）python

socket和file的区别：react

file模块是针对某个指定文件进行【打开】【读写】【关闭】
socket模块是针对服务器端和客户端Socket 进行【打开】【读写】【关闭】

socket server

socket client

sk.setsockopt(SOL_SOCKET,SO_REUSEADDR,1)程序员

WEB服务应用：数据库

 
         #!/usr/bin/env python 
        
         #coding:utf-8 
        
         import  
         socket 
        
         def  
         handle_request(client): 
        
         buf  
         =  
         client.recv( 
         1024 
         ) 
        
         client.send( 
         "HTTP/1.1 200 OK\r\n\r\n" 
         ) 
        
         client.send( 
         "Hello, World" 
         ) 
        
         def  
         main(): 
        
         sock  
         =  
         socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
        
         sock.bind(( 
         'localhost' 
         , 
         8080 
         )) 
        
         sock.listen( 
         5 
         ) 
        
         while  
         True 
         : 
        
         connection, address  
         =  
         sock.accept() 
        
         handle_request(connection) 
        
         connection.close() 
        
         if  
         __name__  
         = 
         =  
         '__main__' 
         : 
        
         main()

更多功能windows

sk = socket.socket(socket.AF_INET,socket.SOCK_STREAM,0)api

参数一：地址簇服务器

　　socket.AF_INET IPv4（默认）
　　socket.AF_INET6 IPv6网络

　　socket.AF_UNIX 只可以用于单一的Unix系统进程间通讯多线程

参数二：类型

　　socket.SOCK_STREAM　　流式socket , for TCP （默认）
　　socket.SOCK_DGRAM　　数据报式socket , for UDP

　　socket.SOCK_RAW 原始套接字，普通的套接字没法处理ICMP、IGMP等网络报文，而SOCK_RAW能够；其次，SOCK_RAW也能够处理特殊的IPv4报文；此外，利用原始套接字，能够经过IP_HDRINCL套接字选项由用户构造IP头。
　　socket.SOCK_RDM 是一种可靠的UDP形式，即保证交付数据报但不保证顺序。SOCK_RAM用来提供对原始协议的低级访问，在须要执行某些特殊操做时使用，如发送ICMP报文。SOCK_RAM一般仅限于高级用户或管理员运行的程序使用。
　　socket.SOCK_SEQPACKET 可靠的连续数据包服务

参数三：协议

　　0　　（默认）与特定的地址家族相关的协议,若是是 0 ，则系统就会根据地址格式和套接类别,自动选择一个合适的协议

UDP Demo

sk.bind(address)

　　s.bind(address) 将套接字绑定到地址。address地址的格式取决于地址族。在AF_INET下，以元组（host,port）的形式表示地址。

sk.listen(backlog)

　　开始监听传入链接。backlog指定在拒绝链接以前，能够挂起的最大链接数量。

backlog等于5，表示内核已经接到了链接请求，但服务器尚未调用accept进行处理的链接个数最大为5
这个值不能无限大，由于要在内核中维护链接队列

sk.setblocking(bool)

　　是否阻塞（默认True），若是设置False，那么accept和recv时一旦无数据，则报错。

sk.accept()

　　接受链接并返回（conn,address）,其中conn是新的套接字对象，能够用来接收和发送数据。address是链接客户端的地址。

　　接收TCP 客户的链接（阻塞式）等待链接的到来

sk.connect(address)

　　链接到address处的套接字。通常，address的格式为元组（hostname,port）,若是链接出错，返回socket.error错误。

sk.connect_ex(address)

　　同上，只不过会有返回值，链接成功时返回 0 ，链接失败时候返回编码，例如：10061

sk.close()

　　关闭套接字

sk.recv(bufsize[,flag])

　　接受套接字的数据。数据以字符串形式返回，bufsize指定最多能够接收的数量。flag提供有关消息的其余信息，一般能够忽略。

sk.recvfrom(bufsize[.flag])

　　与recv()相似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。

sk.send(string[,flag])

　　将string中的数据发送到链接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。即：可能未将指定内容所有发送。

sk.sendall(string[,flag])

　　将string中的数据发送到链接的套接字，但在返回以前会尝试发送全部数据。成功返回None，失败则抛出异常。

内部经过递归调用send，将全部内容发送出去。

sk.sendto(string[,flag],address)

　　将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。该函数主要用于UDP协议。

sk.settimeout(timeout)

　　设置套接字操做的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。通常，超时期应该在刚建立套接字时设置，由于它们可能用于链接的操做（如 client 链接最多等待5s ）

sk.getpeername()

　　返回链接套接字的远程地址。返回值一般是元组（ipaddr,port）。

sk.getsockname()

　　返回套接字本身的地址。一般是一个元组(ipaddr,port)

sk.fileno()

　　套接字的文件描述符

UDP

实例：智能机器人

服务端

客户端

IO多路复用

I/O多路复用指：经过一种机制，能够监视多个描述符，一旦某个描述符就绪（通常是读就绪或者写就绪），可以通知程序进行相应的读写操做。

Linux

Linux中的 select，poll，epoll 都是IO多路复用的机制。

Python

Python中有一个select模块，其中提供了：select、poll、epoll三个方法，分别调用系统的 select，poll，epoll 从而实现IO多路复用。

 
         Windows Python： 
        
         提供： select 
        
         Mac Python： 
        
         提供： select 
        
         Linux Python： 
        
         提供： select、poll、epoll

注意：网络操做、文件操做、终端操做等均属于IO操做，对于windows只支持Socket操做，其余系统支持其余IO操做，可是没法检测普通文件操做自动上次读取是否已经变化。

对于select方法：

 
         句柄列表 
         11 
         , 句柄列表 
         22 
         , 句柄列表 
         33  
         =  
         select.select(句柄序列 
         1 
         , 句柄序列 
         2 
         , 句柄序列 
         3 
         , 超时时间) 
        
         参数： 可接受四个参数（前三个必须） 
        
         返回值：三个列表 
        
         select方法用来监视文件句柄，若是句柄发生变化，则获取该句柄。 
        
         1 
         、当 参数 
         1  
         序列中的句柄发生可读时（accetp和read），则获取发生变化的句柄并添加到 返回值 
         1  
         序列中 
        
         2 
         、当 参数 
         2  
         序列中含有句柄时，则将该序列中全部的句柄添加到 返回值 
         2  
         序列中 
        
         3 
         、当 参数 
         3  
         序列中的句柄发生错误时，则将该发生错误的句柄添加到 返回值 
         3  
         序列中 
        
         4 
         、当 超时时间 未设置，则select会一直阻塞，直到监听的句柄发生变化 
        
         当 超时时间 ＝  
         1 
         时，那么若是监听的句柄均无任何变化，则select会阻塞  
         1  
         秒，以后返回三个空列表，若是监听的句柄有变化，则直接执行。

利用select监听终端操做实例

利用select实现伪同时处理多个Socket客户端请求：服务端

利用select实现伪同时处理多个Socket客户端请求：客户端

此处的Socket服务端相比与原生的Socket，他支持当某一个请求再也不发送数据时，服务器端不会等待而是能够去处理其余请求的数据。可是，若是每一个请求的耗时比较长时，select版本的服务器端也没法完成同时操做。

基于select实现socket服务端

SocketServer模块

SocketServer内部使用 IO多路复用以及 “多线程” 和 “多进程” ，从而实现并发处理多个客户端请求的Socket服务端。即：每一个客户端请求链接到服务器时，Socket服务端都会在服务器是建立一个“线程”或者“进程” 专门负责处理当前客户端的全部请求。

ThreadingTCPServer

ThreadingTCPServer实现的Soket服务器内部会为每一个client建立一个 “线程”，该线程用来和客户端进行交互。

一、ThreadingTCPServer基础

使用ThreadingTCPServer:

建立一个继承自 SocketServer.BaseRequestHandler 的类
类中必须定义一个名称为 handle 的方法
启动ThreadingTCPServer

SocketServer实现服务器

客户端

二、ThreadingTCPServer源码剖析

ThreadingTCPServer的类图关系以下：

内部调用流程为：

启动服务端程序
执行 TCPServer.__init__ 方法，建立服务端Socket对象并绑定 IP 和端口
执行 BaseServer.__init__ 方法，将自定义的继承自SocketServer.BaseRequestHandler 的类 MyRequestHandle赋值给self.RequestHandlerClass
执行 BaseServer.server_forever 方法，While 循环一直监听是否有客户端请求到达 ...
当客户端链接到达服务器
执行 ThreadingMixIn.process_request 方法，建立一个 “线程” 用来处理请求
执行 ThreadingMixIn.process_request_thread 方法
执行 BaseServer.finish_request 方法，执行 self.RequestHandlerClass() 即：执行自定义 MyRequestHandler 的构造方法（自动调用基类BaseRequestHandler的构造方法，在该构造方法中又会调用 MyRequestHandler的handle方法）

ThreadingTCPServer相关源码：

BaseServer

TCPServer

ThreadingMixIn

ThreadingTCPServer

RequestHandler相关源码

SocketServer.BaseRequestHandler

实例：

服务端

客户端

源码精简：

import socket
import threading
import select


def process(request, client_address):
    print request,client_address
    conn = request
    conn.sendall('欢迎致电 10086，请输入1xxx,0转人工服务.')
    flag = True
    while flag:
        data = conn.recv(1024)
        if data == 'exit':
            flag = False
        elif data == '0':
            conn.sendall('经过可能会被录音.balabala一大推')
        else:
            conn.sendall('请从新输入.')

sk = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
sk.bind(('127.0.0.1',8002))
sk.listen(5)

while True:
    r, w, e = select.select([sk,],[],[],1)
    print 'looping'
    if sk in r:
        print 'get request'
        request, client_address = sk.accept()
        t = threading.Thread(target=process, args=(request, client_address))
        t.daemon = False
        t.start()

sk.close()

如精简代码能够看出，SocketServer的ThreadingTCPServer之因此能够同时处理请求得益于 select 和 Threading 两个东西，其实本质上就是在服务器端为每个客户端建立一个线程，当前线程用来处理对应客户端的请求，因此，能够支持同时n个客户端连接（长链接）。

ForkingTCPServer

ForkingTCPServer和ThreadingTCPServer的使用和执行流程基本一致，只不过在内部分别为请求者创建 “线程” 和 “进程”。

基本使用：

服务端

客户端

以上ForkingTCPServer只是将 ThreadingTCPServer 实例中的代码：

 
         server  
         =  
         SocketServer.ThreadingTCPServer(( 
         '127.0.0.1' 
         , 
         8009 
         ),MyRequestHandler) 
        
         变动为： 
        
         server  
         =  
         SocketServer.ForkingTCPServer(( 
         '127.0.0.1' 
         , 
         8009 
         ),MyRequestHandler)

SocketServer的ThreadingTCPServer之因此能够同时处理请求得益于 select 和 os.fork 两个东西，其实本质上就是在服务器端为每个客户端建立一个进程，当前新建立的进程用来处理对应客户端的请求，因此，能够支持同时n个客户端连接（长链接）。

源码剖析参考 ThreadingTCPServer

Twisted

Twisted是一个事件驱动的网络框架，其中包含了诸多功能，例如：网络协议、线程、数据库管理、网络操做、电子邮件等。

事件驱动

简而言之，事件驱动分为二个部分：第一，注册事件；第二，触发事件。

自定义事件驱动框架，命名为：“弑君者”：

最牛逼的事件驱动框架

程序员使用“弑君者框架”：

View Code

如上述代码，事件驱动只不过是框架规定了执行顺序，程序员在使用框架时，能够向原执行顺序中注册“事件”，从而在框架执行时能够出发已注册的“事件”。

基于事件驱动Socket

 
         #!/usr/bin/env python 
        
         # -*- coding:utf-8 -*- 
        
         from  
         twisted.internet  
         import  
         protocol 
        
         from  
         twisted.internet  
         import  
         reactor 
        
         class  
         Echo(protocol.Protocol): 
        
         def  
         dataReceived( 
         self 
         , data): 
        
         self 
         .transport.write(data) 
        
         def  
         main(): 
        
         factory  
         =  
         protocol.ServerFactory() 
        
         factory.protocol  
         =  
         Echo 
        
         reactor.listenTCP( 
         8000 
         ,factory) 
        
         reactor.run() 
        
         if  
         __name__  
         = 
         =  
         '__main__' 
         : 
        
         main()

程序执行流程：

运行服务端程序
建立Protocol的派生类Echo
建立ServerFactory对象，并将Echo类封装到其protocol字段中
执行reactor的 listenTCP 方法，内部使用 tcp.Port 建立socket server对象，并将该对象添加到了 reactor的set类型的字段 _read 中
执行reactor的 run 方法，内部执行 while 循环，并经过 select 来监视 _read 中文件描述符是否有变化，循环中...
客户端请求到达
执行reactor的 _doReadOrWrite 方法，其内部经过反射调用 tcp.Port 类的 doRead 方法，内部 accept 客户端链接并建立Server对象实例（用于封装客户端socket信息）和建立 Echo 对象实例（用于处理请求），而后调用 Echo 对象实例的 makeConnection 方法，建立链接。
执行 tcp.Server 类的 doRead 方法，读取数据，
执行 tcp.Server 类的 _dataReceived 方法，若是读取数据内容为空（关闭连接），不然，出发 Echo 的 dataReceived 方法
执行 Echo 的 dataReceived 方法

从源码能够看出，上述实例本质上使用了事件驱动的方法和 IO多路复用的机制来进行Socket的处理。

异步IO操做

更多请见：

　　https://twistedmatrix.com/trac　　http://twistedmatrix.com/documents/current/api/