python 网络编程 TCP/IP socket UDP

TCP/IP简介

---

虽然你们如今对互联网很熟悉，可是计算机网络的出现比互联网要早不少。

计算机为了联网，就必须规定通讯协议，早期的计算机网络，都是由各厂商本身规定一套协议，IBM、Apple和Microsoft都有各自的网络协议，互不兼容，这就比如一群人有的说英语，有的说中文，有的说德语，说同一种语言的人能够交流，不一样的语言之间就不行了。

为了把全世界的全部不一样类型的计算机都链接起来，就必须规定一套全球通用的协议，为了实现互联网这个目标，互联网协议簇（Internet Protocol Suite）就是通用协议标准。Internet是由inter和net两个单词组合起来的，原意就是链接“网络”的网络，有了Internet，任何私有网络，只要支持这个协议，就能够联入互联网。

由于互联网协议包含了上百种协议标准，可是最重要的两个协议是TCP和IP协议，因此，你们把互联网的协议简称TCP/IP协议。

通讯的时候，双方必须知道对方的标识，比如发邮件必须知道对方的邮件地址。互联网上每一个计算机的惟一标识就是IP地址，相似123.123.123.123。若是一台计算机同时接入到两个或更多的网络，好比路由器，它就会有两个或多个IP地址，因此，IP地址对应的其实是计算机的网络接口，一般是网卡。

IP协议负责把数据从一台计算机经过网络发送到另外一台计算机。数据被分割成一小块一小块，而后经过IP包发送出去。因为互联网链路复杂，两台计算机之间常常有多条线路，所以，路由器就负责决定如何把一个IP包转发出去。IP包的特色是按块发送，途径多个路由，但不保证能到达，也不保证顺序到达。

TCP协议则是创建在IP协议之上的。TCP协议负责在两台计算机之间创建可靠链接，保证数据包按顺序到达。TCP协议会经过握手创建链接，而后，对每一个IP包编号，确保对方按顺序收到，若是包丢掉了，就自动重发。

许多经常使用的更高级的协议都是创建在TCP协议基础上的，好比用于浏览器的HTTP协议、发送邮件的SMTP协议等。

一个IP包除了包含要传输的数据外，还包含源IP地址和目标IP地址，源端口和目标端口。

端口有什么做用？在两台计算机通讯时，只发IP地址是不够的，由于同一台计算机上跑着多个网络程序。一个IP包来了以后，究竟是交给浏览器仍是QQ，就须要端口号来区分。每一个网络程序都向操做系统申请惟一的端口号，这样，两个进程在两台计算机之间创建网络链接就须要各自的IP地址和各自的端口号。

一个进程也可能同时与多个计算机创建连接，所以它会申请不少端口。

了解了TCP/IP协议的基本概念，IP地址和端口的概念，咱们就能够开始进行网络编程了。

 

Python3 网络编程

Python 提供了两个级别访问的网络服务。：

• 低级别的网络服务支持基本的 Socket，它提供了标准的 BSD Sockets API，能够访问底层操做系统Socket接口的所有方法。
• 高级别的网络服务模块 SocketServer， 它提供了服务器中心类，能够简化网络服务器的开发。

---

什么是 Socket?

Socket又称"套接字"，应用程序一般经过"套接字"向网络发出请求或者应答网络请求，使主机间或者一台计算机上的进程间能够通信。

---

socket()函数

Python 中，咱们用 socket（）函数来建立套接字，语法格式以下：

socket.socket([family[, type[, proto]]])

参数

• family: 套接字家族可使AF_UNIX或者AF_INET
• type: 套接字类型能够根据是面向链接的仍是非链接分为SOCK_STREAM或SOCK_DGRAM
• protocol: 通常不填默认为0.

Socket 对象(内建)方法

函数	描述
服务器端套接字
s.bind()	绑定地址（host,port）到套接字， 在AF_INET下,以元组（host,port）的形式表示地址。
s.listen()	开始TCP监听。backlog指定在拒绝链接以前，操做系统能够挂起的最大链接数量。该值至少为1，大部分应用程序设为5就能够了。
s.accept()	被动接受TCP客户端链接,(阻塞式)等待链接的到来
客户端套接字
s.connect()	主动初始化TCP服务器链接，。通常address的格式为元组（hostname,port），若是链接出错，返回socket.error错误。
s.connect_ex()	connect()函数的扩展版本,出错时返回出错码,而不是抛出异常
公共用途的套接字函数
s.recv()	接收TCP数据，数据以字符串形式返回，bufsize指定要接收的最大数据量。flag提供有关消息的其余信息，一般能够忽略。
s.send()	发送TCP数据，将string中的数据发送到链接的套接字。返回值是要发送的字节数量，该数量可能小于string的字节大小。
s.sendall()	完整发送TCP数据，完整发送TCP数据。将string中的数据发送到链接的套接字，但在返回以前会尝试发送全部数据。成功返回None，失败则抛出异常。
s.recvform()	接收UDP数据，与recv()相似，但返回值是（data,address）。其中data是包含接收数据的字符串，address是发送数据的套接字地址。
s.sendto()	发送UDP数据，将数据发送到套接字，address是形式为（ipaddr，port）的元组，指定远程地址。返回值是发送的字节数。
s.close()	关闭套接字
s.getpeername()	返回链接套接字的远程地址。返回值一般是元组（ipaddr,port）。
s.getsockname()	返回套接字本身的地址。一般是一个元组(ipaddr,port)
s.setsockopt(level,optname,value)	设置给定套接字选项的值。
s.getsockopt(level,optname[.buflen])	返回套接字选项的值。
s.settimeout(timeout)	设置套接字操做的超时期，timeout是一个浮点数，单位是秒。值为None表示没有超时期。通常，超时期应该在刚建立套接字时设置，由于它们可能用于链接的操做（如connect()）
s.gettimeout()	返回当前超时期的值，单位是秒，若是没有设置超时期，则返回None。
s.fileno()	返回套接字的文件描述符。
s.setblocking(flag)	若是flag为0，则将套接字设为非阻塞模式，不然将套接字设为阻塞模式（默认值）。非阻塞模式下，若是调用recv()没有发现任何数据，或send()调用没法当即发送数据，那么将引发socket.error异常。
s.makefile()	建立一个与该套接字相关连的文件

---

简单实例

服务端

咱们使用 socket 模块的 socket 函数来建立一个 socket 对象。socket 对象能够经过调用其余函数来设置一个 socket 服务。

如今咱们能够经过调用 bind(hostname, port) 函数来指定服务的 port(端口)。

接着，咱们调用 socket 对象的 accept 方法。该方法等待客户端的链接，并返回 connection 对象，表示已链接到客户端。

完整代码以下：

#!/usr/bin/python3
# 文件名：server.py

# 导入 socket、sys 模块
import socket
import sys

# 建立 socket 对象
serversocket = socket.socket(
            socket.AF_INET, socket.SOCK_STREAM) 

# 获取本地主机名
host = socket.gethostname()

port = 9999

# 绑定端口
serversocket.bind((host, port))

# 设置最大链接数，超事后排队
serversocket.listen(5)

while True:
    # 创建客户端链接
    clientsocket,addr = serversocket.accept()      

    print("链接地址: %s" % str(addr))
    
    msg='欢迎访问菜鸟教程！'+ "\r\n"
    clientsocket.send(msg.encode('utf-8'))
    clientsocket.close()

　　

客户端

接下来咱们写一个简单的客户端实例链接到以上建立的服务。端口号为 12345。

socket.connect(hosname, port ) 方法打开一个 TCP 链接到主机为 hostname 端口为 port 的服务商。链接后咱们就能够从服务端后期数据，记住，操做完成后须要关闭链接。

完整代码以下：

#!/usr/bin/python3
# 文件名：client.py

# 导入 socket、sys 模块
import socket
import sys

# 建立 socket 对象
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 

# 获取本地主机名
host = socket.gethostname() 

# 设置端口好
port = 9999

# 链接服务，指定主机和端口
s.connect((host, port))

# 接收小于 1024 字节的数据
msg = s.recv(1024)

s.close()

print (msg.decode('utf-8'))

　　

如今咱们打开两个终端，第一个终端执行 server.py 文件：

$ python3 server.py

第二个终端执行 client.py 文件：

$ python3 client.py 
欢迎访问菜鸟教程！

这是咱们再打开第一个终端，就会看到有如下信息输出：

链接地址： ('192.168.0.118', 33397)

---

Python Internet 模块

如下列出了 Python 网络编程的一些重要模块：

协议	功能用处	端口号	Python 模块
HTTP	网页访问	80	httplib, urllib, xmlrpclib
NNTP	阅读和张贴新闻文章，俗称为"帖子"	119	nntplib
FTP	文件传输	20	ftplib, urllib
SMTP	发送邮件	25	smtplib
POP3	接收邮件	110	poplib
IMAP4	获取邮件	143	imaplib
Telnet	命令行	23	telnetlib
Gopher	信息查找	70	gopherlib, urllib

 

TCP编程

---

Socket是网络编程的一个抽象概念。一般咱们用一个Socket表示“打开了一个网络连接”，而打开一个Socket须要知道目标计算机的IP地址和端口号，再指定协议类型便可。

客户端

大多数链接都是可靠的TCP链接。建立TCP链接时，主动发起链接的叫客户端，被动响应链接的叫服务器。

举个例子，当咱们在浏览器中访问新浪时，咱们本身的计算机就是客户端，浏览器会主动向新浪的服务器发起链接。若是一切顺利，新浪的服务器接受了咱们的链接，一个TCP链接就创建起来的，后面的通讯就是发送网页内容了。

因此，咱们要建立一个基于TCP链接的Socket，能够这样作：

# 导入socket库:
import socket
# 建立一个socket:
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 创建链接:
s.connect(('www.sina.com.cn', 80))

　　

建立Socket时，AF_INET指定使用IPv4协议，若是要用更先进的IPv6，就指定为AF_INET6。SOCK_STREAM指定使用面向流的TCP协议，这样，一个Socket对象就建立成功，可是尚未创建链接。

客户端要主动发起TCP链接，必须知道服务器的IP地址和端口号。新浪网站的IP地址能够用域名www.sina.com.cn自动转换到IP地址，可是怎么知道新浪服务器的端口号呢？

答案是做为服务器，提供什么样的服务，端口号就必须固定下来。因为咱们想要访问网页，所以新浪提供网页服务的服务器必须把端口号固定在80端口，由于80端口是Web服务的标准端口。其余服务都有对应的标准端口号，例如SMTP服务是25端口，FTP服务是21端口，等等。端口号小于1024的是Internet标准服务的端口，端口号大于1024的，能够任意使用。

所以，咱们链接新浪服务器的代码以下：

s.connect(('www.sina.com.cn', 80))

注意参数是一个tuple，包含地址和端口号。

创建TCP链接后，咱们就能够向新浪服务器发送请求，要求返回首页的内容：

# 发送数据:
s.send('GET / HTTP/1.1\r\nHost: www.sina.com.cn\r\nConnection: close\r\n\r\n')

TCP链接建立的是双向通道，双方均可以同时给对方发数据。可是谁先发谁后发，怎么协调，要根据具体的协议来决定。例如，HTTP协议规定客户端必须先发请求给服务器，服务器收到后才发数据给客户端。

发送的文本格式必须符合HTTP标准，若是格式没问题，接下来就能够接收新浪服务器返回的数据了：

# 接收数据:
buffer = []
while True:
    # 每次最多接收1k字节:
    d = s.recv(1024)
    if d:
        buffer.append(d)
    else:
        break
data = ''.join(buffer)

　　

接收数据时，调用recv(max)方法，一次最多接收指定的字节数，所以，在一个while循环中反复接收，直到recv()返回空数据，表示接收完毕，退出循环。

当咱们接收完数据后，调用close()方法关闭Socket，这样，一次完整的网络通讯就结束了：

# 关闭链接:
s.close()

接收到的数据包括HTTP头和网页自己，咱们只须要把HTTP头和网页分离一下，把HTTP头打印出来，网页内容保存到文件：

header, html = data.split('\r\n\r\n', 1)
print header
# 把接收的数据写入文件:
with open('sina.html', 'wb') as f:
    f.write(html)

如今，只须要在浏览器中打开这个sina.html文件，就能够看到新浪的首页了。

服务器

和客户端编程相比，服务器编程就要复杂一些。

服务器进程首先要绑定一个端口并监听来自其余客户端的链接。若是某个客户端链接过来了，服务器就与该客户端创建Socket链接，随后的通讯就靠这个Socket链接了。

因此，服务器会打开固定端口（好比80）监听，每来一个客户端链接，就建立该Socket链接。因为服务器会有大量来自客户端的链接，因此，服务器要可以区分一个Socket链接是和哪一个客户端绑定的。一个Socket依赖4项：服务器地址、服务器端口、客户端地址、客户端端口来惟一肯定一个Socket。

可是服务器还须要同时响应多个客户端的请求，因此，每一个链接都须要一个新的进程或者新的线程来处理，不然，服务器一次就只能服务一个客户端了。

咱们来编写一个简单的服务器程序，它接收客户端链接，把客户端发过来的字符串加上Hello再发回去。

首先，建立一个基于IPv4和TCP协议的Socket：

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)

而后，咱们要绑定监听的地址和端口。服务器可能有多块网卡，能够绑定到某一块网卡的IP地址上，也能够用0.0.0.0绑定到全部的网络地址，还能够用127.0.0.1绑定到本机地址。127.0.0.1是一个特殊的IP地址，表示本机地址，若是绑定到这个地址，客户端必须同时在本机运行才能链接，也就是说，外部的计算机没法链接进来。

端口号须要预先指定。由于咱们写的这个服务不是标准服务，因此用9999这个端口号。请注意，小于1024的端口号必需要有管理员权限才能绑定：

# 监听端口:
s.bind(('127.0.0.1', 9999))

紧接着，调用listen()方法开始监听端口，传入的参数指定等待链接的最大数量：

s.listen(5)
print 'Waiting for connection...'

接下来，服务器程序经过一个永久循环来接受来自客户端的链接，accept()会等待并返回一个客户端的链接:

while True:
    # 接受一个新链接:
    sock, addr = s.accept()
    # 建立新线程来处理TCP链接:
    t = threading.Thread(target=tcplink, args=(sock, addr))
    t.start()

每一个链接都必须建立新线程（或进程）来处理，不然，单线程在处理链接的过程当中，没法接受其余客户端的链接：

def tcplink(sock, addr):
    print 'Accept new connection from %s:%s...' % addr
    sock.send('Welcome!')
    while True:
        data = sock.recv(1024)
        time.sleep(1)
        if data == 'exit' or not data:
            break
        sock.send('Hello, %s!' % data)
    sock.close()
    print 'Connection from %s:%s closed.' % addr

链接创建后，服务器首先发一条欢迎消息，而后等待客户端数据，并加上Hello再发送给客户端。若是客户端发送了exit字符串，就直接关闭链接。

要测试这个服务器程序，咱们还须要编写一个客户端程序：

s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
# 创建链接:
s.connect(('127.0.0.1', 9999))
# 接收欢迎消息:
print s.recv(1024)
for data in ['Michael', 'Tracy', 'Sarah']:
    # 发送数据:
    s.send(data)
    print s.recv(1024)
s.send('exit')
s.close()

　　

咱们须要打开两个命令行窗口，一个运行服务器程序，另外一个运行客户端程序，就能够看到效果了：

须要注意的是，客户端程序运行完毕就退出了，而服务器程序会永远运行下去，必须按Ctrl+C退出程序。

小结

用TCP协议进行Socket编程在Python中十分简单，对于客户端，要主动链接服务器的IP和指定端口，对于服务器，要首先监听指定端口，而后，对每个新的链接，建立一个线程或进程来处理。一般，服务器程序会无限运行下去。

同一个端口，被一个Socket绑定了之后，就不能被别的Socket绑定了。

UDP编程

---

TCP是创建可靠链接，而且通讯双方均可以以流的形式发送数据。相对TCP，UDP则是面向无链接的协议。

使用UDP协议时，不须要创建链接，只须要知道对方的IP地址和端口号，就能够直接发数据包。可是，能不能到达就不知道了。

虽然用UDP传输数据不可靠，但它的优势是和TCP比，速度快，对于不要求可靠到达的数据，就可使用UDP协议。

咱们来看看如何经过UDP协议传输数据。和TCP相似，使用UDP的通讯双方也分为客户端和服务器。服务器首先须要绑定端口：

s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
# 绑定端口:
s.bind(('127.0.0.1', 9999))

建立Socket时，SOCK_DGRAM指定了这个Socket的类型是UDP。绑定端口和TCP同样，可是不须要调用listen()方法，而是直接接收来自任何客户端的数据：

print 'Bind UDP on 9999...'
while True:
    # 接收数据:
    data, addr = s.recvfrom(1024)
    print 'Received from %s:%s.' % addr
    s.sendto('Hello, %s!' % data, addr)

recvfrom()方法返回数据和客户端的地址与端口，这样，服务器收到数据后，直接调用sendto()就能够把数据用UDP发给客户端。

注意这里省掉了多线程，由于这个例子很简单。

客户端使用UDP时，首先仍然建立基于UDP的Socket，而后，不须要调用connect()，直接经过sendto()给服务器发数据：

s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
for data in ['Michael', 'Tracy', 'Sarah']:
    # 发送数据:
    s.sendto(data, ('127.0.0.1', 9999))
    # 接收数据:
    print s.recv(1024)
s.close()

从服务器接收数据仍然调用recv()方法。

仍然用两个命令行分别启动服务器和客户端测试，结果以下：

小结

UDP的使用与TCP相似，可是不须要创建链接。此外，服务器绑定UDP端口和TCP端口互不冲突，也就是说，UDP的9999端口与TCP的9999端口能够各自绑定。

源码参考：https://github.com/michaelliao/learn-python/tree/master/socket