【译】通俗易懂的HTTPS

翻译:老齐python

你有没有想过为何你能够经过互联网发送你的信用卡信息?你可能已经注意到了浏览器地址栏中的https:// ,但它是什么?它如何保证你的信息安全?或者你可能想要建立一个Python HTTPS应用程序,但你并不彻底肯定这意味着什么。如何确保你的web应用是安全的?git

你可能会惊讶地发现,不用成为安全专家,也能能回答这些问题!在本文中,你就能获得相关的知识,这些知识组合在一块儿,可确保网络通讯安全。你将看到一些具体示例,这些示例展现了Python HTTPS如何保证信息安全。github

在本文中,你将学到:web

  • 监视和分析网络流量
  • 应用加密技术保证数据安全
  • 描述公钥(PKI)的核心概念
  • 建立你本身的证书颁发机构
  • 构建Python HTTPS应用程序
  • 识别常见的Python HTTPS警告和错误

什么是HTTP?

在深刻了解HTTPS及其在Python中的使用以前,了解它的上一代HTTP是很重要的。HTTP是HyperText Transfer Protocol(超文本传输协议)的缩写,它支持浏览网站时的通讯。更具体地说,HTTP是用户端(如web浏览器)与web服务器(如itdiffer.com)通讯的方式。下面是HTTP通讯的简化图:算法

这个图表显示了计算机与服务器通讯的流程,下面对每一步给予分解说明:flask

  1. 告诉浏览器访问http://qiwsir.github.io/。
  2. 你的设备和服务器创建了TCP链接。
  3. 浏览器向服务器发送HTTP请求。
  4. 服务器接收HTTP请求并对其进行解析。
  5. 服务器借助HTTP响应产生反应。
  6. 计算机接收、解析并显示响应。

这个分解说明包含了HTTP的基本知识,向服务器发出请求,服务器返回响应。虽然HTTP不须要TCP,但它确实须要可靠的低级协议。在实践中,几乎老是基于IP实现TCP(尽管谷歌试图建立一个替代品)。浏览器

就协议而言,HTTP是最简单的协议之一。它的设计目的是经过互联网发送内容,如HTML、视频、图像等,这都是经过HTTP请求和响应完成的。HTTP请求包含如下元素:安全

  • 请求方法:描述客户端要执行操做的方法,静态内容的方法一般是GET,此外还有其余可用的方法,如POST、HEAD和DELETE。
  • 路径:向服务器指示要请求的网页。例如,此页面的路径是/python-https。
  • 版本:HTTP的版本,如1.0、1.1或2.0。最多见的多是1.1。
  • headers:描述服务器的其余信息。
  • body:向服务器提供来自客户端的信息。虽然这个字段不是必需的,可是某些方法要求有提交的内容,好比POST。

这些是浏览器用于与服务器通讯的内容,服务器借助HTTP响应产生反应,并返回以下信息:bash

  • HTTP版本,该版本一般与请求的版本相同。
  • 状态代码:指示是否已成功完成了请求。状态代码有不少。
  • 状态消息:提供有助于描述状态代码的可读消息。
  • headers:容许服务器使用关于请求的附加元数据进行响应。
  • body:承载着内容。从技术上讲,这是可选的,但它一般包含一个有用的资源。

这些是HTTP的组成。服务器

什么是HTTPS?

如今你对HTTP有了详细了解,那么,什么是HTTPS?好消息是,你已经知道了!HTTPS,即Hyper Text Transfer Protocol over SecureSocket Layer,超文本传输安全协议。从根本上说,HTTPS与HTTP是相同的协议,但它也意味着通讯是安全的。

HTTPS不会重写它所构建的任何HTTP基础,相反,HTTPS由经过加密链接发送的常规HTTP组成。一般,这种加密链接由TLS或SSL提供,它们是在信息经过网络发送以前对其进行加密的协议。

注意:TLS和SSL是很是类似的协议,尽管SSL正在退出,TLS将取代它。这些协议中的差别不在本文的范围内。只要知道TLS是SSL的更新、更好的版本就足够了。

那么,为何要有HTTP和HTTPS两种呢?为何不把加密引入HTTP协议自己呢?答案是可移植性。保护通讯安全是一个重要而困难的问题,但HTTP只是许多须要安全性的协议之一。在网络上,除了网页访问以外,还有其余的许多应用:

  • E-mail
  • 即时通信
  • VoIP

每项应用都有专门的协议,若是每一个协议都必须建立本身的安全机制,那么这个世界就会变得更加不安全,也会更加混乱。TLS是上述协议中经常使用的一种安全通讯方法。

在下文中,你将学习到的几乎全部内容都不只仅适用于Python HTTPS应用,此外,还将学习安全通讯的基础知识,以及它如何具体应用于HTTPS。

为何HTTPS很重要?

通讯安全对于提供安全的在线环境相当重要。随着包括银行和医疗站点在内的愈来愈多的网络应用,对于开发人员来讲,建立Python HTTPS应用变得愈来愈重要。一样,HTTPS只是TLS或SSL上的HTTP,TLS的设计是为了保护隐私不被窃听,它还能够提供客户端和服务器的身份验证。

在本文中,你将经过执行如下操做深刻探讨这些概念:

  • 建立Python HTTPS服务器
  • 与Python HTTPS服务器通讯
  • 捕获这些通讯
  • 分析这些消息

咱们开始吧!

建立示例

假设你是一个叫作秘密松鼠的酷Python俱乐部的领导,松鼠,做为机密,须要以加密信息的方式发布给会议。做为领导,你要选择发布的加密信息,每次会议都会更改这个信息。不过,有时候,你很难在会前和全部会员见面,告诉他们此信息!你决定设置一个秘密服务器,成员能够在其中只能看到发给他们的加密信息。

你已经学习了一些关于真正Python的知识(若是尚未学习,推荐《Python大学实用教程》(电子工业出版社)),并安装以下模块:

  • 用于构建web应用程序的Flask
  • 做为生产服务器的uWSGI
  • 向服务器发起请求的requests

要安装全部这些,可使用pip

$ pip install flask uwsgi requests
复制代码

安装后,就能够开始编写应用程序了。建立名为server.py的文件,并在其中编写Flask应用:

# server.py
from flask import Flask

SECRET_MESSAGE = "fluffy tail"
app = Flask(__name__)

@app.route("/")
def get_secret_message():
    return SECRET_MESSAGE
复制代码

每当有人访问服务器的/路径时,这个Flask应用程序将显示SECRET_MESSAGE的内容。这样一来,就能够在秘密服务器上部署应用程序并运行它:

$ uwsgi --http-socket 127.0.0.1:5683 --mount /=server:app
复制代码

此命令旨在启动的服务器上使用上面的Flask应用,所使用的端口有点奇怪(5683),由于你不但愿别人能找到它,为本身的“鬼鬼祟祟”感到庆幸!能够经过访问浏览器访问http://localhost:5683来确认它是否正常工做。

由于秘密松鼠俱乐部中的每一个人都认识Python,因此你决定帮助他们编写一个名为client.py的脚本,以便让他们获取加密信息:

# client.py
import os
import requests

def get_secret_message():
    url = os.environ["SECRET_URL"]
    response = requests.get(url)
    print(f"The secret message is: {response.text}")

if __name__ == "__main__":
    get_secret_message()
复制代码

只要设置了SECRET_URL环境变量,此代码就会打印出秘密消息。在本例中,SECRET_URL127.0.0.1:5683。因此,你的计划是给每一个俱乐部成员一个秘密的网址,告诉他们要保密和安全。

虽然这可能看起来不错,但这样作还不够!事实上,即便你在这个网站上输入用户名和密码,它仍然是不安全的。甚至你的团队设法保证了URL的安全,你的秘密消息也还不安全。为了说明为何你须要了解一些有关监视网络流量的信息,你须要使用一个名为Wireshark的工具。

设置Wireshark

Wireshark是一个应用普遍的网络和协议分析工具,这它能够帮助你了解网络链接上发生的事情。安装和设置Wireshark对于本文是可选的,可是若是你想继续学习,请安装和使用它。下载页提供了几个安装程序:

  • macOS 10.12及更高版本
  • 64位Windows安装程序
  • 32位Windows安装程序

若是你使用的是Windows或Mac,应该可以下载适当的安装程序并按照提示进行操做。最后,你应该有一个正在运行的Wireshark。

若是你是在一个基于Debian的Linux环境中,安装就会有点困难,但仍然是可能的。可使用如下命令安装Wireshark:

$ sudo add-apt-repository ppa:wireshark-dev/stable
$ sudo apt-get update
$ sudo apt-get install wireshark
$ sudo wireshark
复制代码

启动Wireshark以后,能够看到以下界面:

随着Wireshark的运行,是时候分析一些流量了!

看呀,你的数据多么不安全

当前客户端和服务器的运行方式是很是不安全的。HTTP发送的全部东西,任何人均可以清楚地看到。这意味着,即便某人没有你的SECRET_URL,他仍然能够看到你所作的一切,只要他能够监视你和服务器之间的任何设备上的流量。

这对你来讲应该比较可怕。毕竟,你不想别人出如今你的秘密松鼠会议上!下面证实这种状况是真实发生的。首先,若是服务器还没有运行,请启动它:

$ uwsgi --http-socket 127.0.0.1:5683 --mount /=server:app
复制代码

这将在端口5683上启动Flask应用。接下来,你将在Wireshark中开始数据包捕获。此数据包捕获将帮助你查看进出服务器的全部流量。首先在Wireshark上选择Loopback:lo接口:

你能够看到Loopback:lo部分突出显示,这指示Wireshark监视此端口的流量。你能够作得更好,并指定要捕获的端口和协议,能够在捕获筛选器中键入port 5683,在显示筛选器中键入http

绿色框表示Wireshark对你键入的筛选器感到满意。如今你能够单击左上角的按钮开始捕获:

单击此按钮将在Wireshark中生成一个新窗口:

这个新窗口至关简单,但底部的消息显示<live capture in progress>,这代表它正在工做。别担忧什么都没显示出来,这很正常。为了让Wireshark报告任何事情,服务器上必须有一些活动。要获取一些数据,请尝试运行客户端:

$ SECRET_URL="http://127.0.0.1:5683" python client.py
The secret message is: fluffy tail
复制代码

在执行上面的client.py代码以后,你如今应该能够在Wireshark中看到一些条目。若是一切顺利,那么你将看到两个相似于如下内容的条目:

这两个记录表示发生通讯的两个部分。第一个是客户机对服务器的请求。当你单击第一个条目时,你将看到大量信息:

不少信息!在顶部,仍然有HTTP请求和响应。选择其中一个条目后,你将看到中间和底部的行填充了信息。

中间一行提供了协议的详细信息,Wireshark可以为所选的请求标识这些信息。这个详细信息容许你探索HTTP请求中实际发生的事情。Wireshark在中间一行从上到下描述了一些信息,下面是这些信息的快速摘要:

  • 物理层:描述用于发送请求的物理接口。
  • 以太网信息:向用户显示的第2层协议,其中包括源和目标MAC地址。
  • IPv4:显示源和目标IP地址(127.0.0.1)。
  • TCP:包括所需的TCP握手,以便建立可靠的数据管道。
  • HTTP:显示关于HTTP请求自己的信息。

当你展开超文本传输协议层时,能够看到构成HTTP请求的全部信息:

此图显示脚本的HTTP请求:

  • Method: GET
  • Path: /
  • Version: 1.1
  • Headers: Host: 127.0.0.1:5683, Connection: keep-alive, and others
  • Body: No body

你看到的最后一行是十六进制的数据转储。在这个十六进制转储中,你可能会注意到:你实际上能够看到HTTP请求的各个部分。那是由于你的HTTP请求是公开发送的。可是回复呢?若是单击HTTP响应,则会看到一个相似的视图:

一样,也有那三个部分。若是你仔细看这个十六进制转储文件,会看到明文的秘密消息!这对秘密松鼠来讲是个大问题。这意味着,若是有兴趣的话,任何有专门技术知识的人均可以很容易地看到这个数据流。那么,你怎么解决这个问题呢?答案是密码学。

密码学有什么帮助?

在本节中,你将学习一种保护数据安全的方法,即建立本身的加密密钥并在服务器和客户机上使用它们。虽然这不是你的最后一步,但它将帮助你为学会构建Python HTTPS应用程序奠基坚实的基础。

了解密码学基础知识

密码学是一种保护通讯免受窃听或攻击的方法。另外一种说法是,你获取正常的信息(称为明文),而后把它转换成加密的文本(称为密文)。

密码学一开始可能很吓人,但基本概念是很容易理解的。事实上,你之前可能已经练习过密码学。若是你曾经和你的朋友有过一种秘密语言,并在课堂上用它来传递笔记,那么你就已经练习过密码学。(若是你还没作到,别担忧,你即将作到。)

无论什么理由,如今你须要把字符串fluffy tail转换成一些难以理解的东西。一种方法是将某些字符映射到不一样的字符上,还有一种有效的方法是将字母向后移动一个位置,这种作法看起来是这样的:

此图显示如何从原始字母表转换为新字母表并返回。因此,若是你的信息是ABC,那么实际上发送的信息将会是ZAB。若是把这个应用到fluffy tail上,且长度不变,就获得ekteex szhk,虽然并不完美,但任何人看到都会以为它是胡言乱语。

祝贺你!你已经建立了在密码学中称为密码的东西,它描述了如何将明文转换为密文并返回。在这种状况下,你的密码是用英语描述的。这种特殊类型的密码称为替换密码。基本上,这与Enigma机器(en.wikipedia.org/wiki/Enigma…

如今,若是你想把信息传给秘密松鼠,那么你首先须要告诉它们要移动多少个字母,而后把编码的信息发给它们。在Python中,这可能相似于如下内容:

CIPHER = {"a": "z", "A": "Z", "b": "a"} # And so on

def encrypt(plaintext: str):
    return "".join(CIPHER.get(letter, letter) for letter in plaintext)
复制代码

在这里,你建立了一个名为encrypt()的函数,它将获取明文并将其转换为密文。想象一下,你有一本字典CIPHER,它把全部的字符都标出来了。相似地,你能够建立一个decrypt()

DECIPHER = {v: k for k, v in CIPHER.items()}

def decrypt(ciphertext: str):
    return "".join(DECIPHER.get(letter, letter) for letter in ciphertext)
复制代码

此函数与encrypt()相反,它将接受密文并将其转换为明文。在这种形式的密码中,你有一个特殊的密钥,用户须要知道该密钥才能对消息进行加密和解密。对于上面的示例,该密钥是1。也就是说,密码指示你应该将每一个字母移回一个字符。密钥对于保密很是重要,由于任何拥有密钥的人均可以轻松地解密你的信息。

注意:虽然你能够用它来加密,但这仍然不是很安全。这个密码使用频率分析很容易破解,而且对秘密松鼠来讲太原始了。

在现代社会,密码学要先进得多,它依赖于复杂的数学理论和计算机科学来保证安全。虽然这些密码背后的数学不在本文的讨论范围内,但基本概念是相同的。你有一个密码,它描述了如何获取明文并将其转换为密文。

你的替换密码和现代密码的惟一真正区别是:现代密码在数学上被证实是没法被窃听者破解的。如今,让咱们看看如何使用你的新密码。

在Python HTTPS应用中使用密码学

幸运的是,你没必要成为数学或计算机科学的专家就可使用密码学。Python有一个secrets模块,能够帮助你生成密码安全的随机数据。在本文中,你将了解一个名为cryptography的Python库,能够用pip安装它:

$ pip install cryptography
复制代码

安装了cryptography以后,你如今可使用Fernet方法以数学上安全的方式加密和解密。

记得你密码里的密钥是1。一样,你须要建立一个密钥,以便让Fernet正常运行:

>>> from cryptography.fernet import Fernet
>>> key = Fernet.generate_key()
>>> key
b'8jtTR9QcD-k3RO9Pcd5ePgmTu_itJQt9WKQPzqjrcoM='
复制代码

在这段代码中,导入了Fernet并生成了一个密钥。密钥只是一个bytes对象,可是保持密钥的机密性和安全性是很是重要的。就像上面的替换示例同样,任何具备此密钥的人均可以轻松地解密你的信息。

注意:在现实生活中,你会把这个密钥保管得很安全。在这些例子中,查看密钥是有帮助的。但这是一个糟糕的作法,特别是若是你在公共网站上发布它!换言之,不要使用你在上面看到的确切的密钥来得到你想要的安全性。

这个密钥的运行方式与前面的密钥很类似,用它能够将明文转换为密文,而且可以解密返回明文。如今是有趣的部分了!你能够加密以下信息:

>>> my_cipher = Fernet(key)
>>> ciphertext = my_cipher.encrypt(b"fluffy tail")
>>> ciphertext
b'gAAAAABdlW033LxsrnmA2P0WzaS-wk1UKXA1IdyDpmHcV6yrE7H_ApmSK8KpCW-6jaODFaeTeDRKJMMsa_526koApx1suJ4_dQ=='
复制代码

在这段代码中,建立了一个名为my_cipher的Fernet对象,而后可使用它来加密信息。注意,你的秘密信息fluffy tail必须是bytes对象才能对其进行加密。加密后,能够看到“密文”是一个长字节流。

多亏了Fernet,这个密文没有密钥就不能被操做或阅读!这种加密要求服务器和客户端都有权访问密钥。当双方都须要相同的密钥时,这称为对称加密。在下一节中,你将看到如何使用这种对称加密来保证数据的安全。

确保数据安全

如今,你已经了解了Python中密码学的一些基础知识,能够将这些知识应用到你的服务器上。建立名为symmetric_server.py的新文件:

# symmetric_server.py
import os
from flask import Flask
from cryptography.fernet import Fernet

SECRET_KEY = os.environb[b"SECRET_KEY"]
SECRET_MESSAGE = b"fluffy tail"
app = Flask(__name__)

my_cipher = Fernet(SECRET_KEY)

@app.route("/")
def get_secret_message():
    return my_cipher.encrypt(SECRET_MESSAGE)
复制代码

此代码将原始服务器代码与上一节中使用的Fernet对象组合在一块儿。如今使用os.environb将密钥做为bytes对象从环境变量中读取。扫清了服务器方面的障碍以后,你如今能够专一于客户端。将如下内容粘贴到symmetric_client.py中:

# symmetric_client.py
import os
import requests
from cryptography.fernet import Fernet

SECRET_KEY = os.environb[b"SECRET_KEY"]
my_cipher = Fernet(SECRET_KEY)

def get_secret_message():
    response = requests.get("http://127.0.0.1:5683")

    decrypted_message = my_cipher.decrypt(response.content)
    print(f"The codeword is: {decrypted_message}")

if __name__ == "__main__":
    get_secret_message()
复制代码

这是修改后的代码,用于把你的早期客户端与Fernet加密机制相结合。get_secret_message()执行如下操做:

  • 向服务器发出请求。
  • 从响应中获取原始字节。
  • 尝试解密原始字节。
  • 打印解密的信息。

若是同时运行服务器和客户端,你将看到正在成功地加密和解密你的秘密信息:

$ uwsgi --http-socket 127.0.0.1:5683 \
    --env SECRET_KEY="8jtTR9QcD-k3RO9Pcd5ePgmTu_itJQt9WKQPzqjrcoM=" \
    --mount /=symmetric_server:app
复制代码

在此调试中,你将再次在端口5683上启动服务器。这一次,传入的SECRET_KEY 必须至少是长度为32的base64编码字符串。从新启动服务器后,你如今能够查询它:

$ SECRET_KEY="8jtTR9QcD-k3RO9Pcd5ePgmTu_itJQt9WKQPzqjrcoM=" python symmetric_client.py
The secret message is: b'fluffy tail'
复制代码

哇!你已经实现加密和解密了。若是尝试使用无效的SECRET_KEY运行此操做,则会出现错误:

$ SECRET_KEY="AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA=" python symmetric_client.py
Traceback (most recent call last):
  File ".../cryptography/fernet.py", line 104, in _verify_signature
    h.verify(data[-32:])
  File ".../cryptography/hazmat/primitives/hmac.py", line 66, in verify
    ctx.verify(signature)
  File ".../cryptography/hazmat/backends/openssl/hmac.py", line 74, in verify
    raise InvalidSignature("Signature did not match digest.")
cryptography.exceptions.InvalidSignature: Signature did not match digest.

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "symmetric_client.py", line 16, in <module>
    get_secret_message()
  File "symmetric_client.py", line 11, in get_secret_message
    decrypted_message = my_cipher.decrypt(response.content)
  File ".../cryptography/fernet.py", line 75, in decrypt
    return self._decrypt_data(data, timestamp, ttl)
  File ".../cryptography/fernet.py", line 117, in _decrypt_data
    self._verify_signature(data)
  File ".../cryptography/fernet.py", line 106, in _verify_signature
    raise InvalidToken
cryptography.fernet.InvalidToken
复制代码

因此,你知道加密和解密是有效的。但它安全吗?是的。为了证实这一点,你能够回到Wireshark,使用与之前相同的过滤器开始新的捕获。完成捕获设置后,再次运行客户端代码:

$ SECRET_KEY="8jtTR9QcD-k3RO9Pcd5ePgmTu_itJQt9WKQPzqjrcoM=" python symmetric_client.py
The secret message is: b'fluffy tail'
复制代码

你已经成功地发出了另外一个HTTP请求和响应,而且再次在Wireshark中看到这些信息。因为加密信息只在响应中传输,你能够单击该信息查看数据:

在图片的中间一行,能够看到实际传输的数据:

gAAAAABdlXSesekh9LYGDpZE4jkxm4Ai6rZQg2iHaxyDXkPWz1O74AB37V_a4vabF13fEr4kwmCe98Wlr8Zo1XNm-WjAVtSgFQ==
复制代码

棒极了!这意味着数据是加密的,窃听者不知道信息内容其实是什么。不只如此,这也意味着他们可能会花费大量的时间试图暴力破解这些数据,并且他们几乎永远不会成功。

你的数据是安全的!可是等一下——之前使用Python HTTPS应用时,不须要知道任何关于钥匙的事情。这是由于HTTPS不专门使用对称加密。事实证实,分享秘密是个难题。

要证实这个概念,请在浏览器中输入http://127.0.0.1:5683,你将看到加密的响应文本。这是由于你的浏览器对你的密钥一无所知。那么Python HTTPS应用程序究竟是如何工做的呢?这就是非对称加密发挥做用的地方。

如何共享密钥?

在上一节中,你了解了如何使用对称加密来保证数据在Internet上的安全。尽管对称加密是安全的,但它并非Python HTTPS应用用来保证数据安全的惟一加密技术。对称加密引入了一些不易解决的基本问题。

注意:记住,对称加密要求在客户端和服务器之间有一个共享密钥。不幸的是,安全性的工做强度取决于最弱的连接,而在对称加密中,弱连接尤为具备灾难性。一旦一我的泄露了密钥,那么每一个密钥都会泄露。能够确定的是,任何安全系统在某个时候都会受到损害。

那么,你怎么改变密钥?若是你只有一个服务器和一个客户端,这多是一个快速的任务。然而,随着客户端和服务器的增多,为了有效地更改密钥和保护信息,须要进行愈来愈多的协调。

并且,你每次都要选择一个新的加密方式。在上面的示例中,你看到一个随机生成的密钥,几乎不可能试着让人们记住那个密钥。随着客户端和服务器数量的增加,可能会使用更容易记住和猜想的密钥。

若是处理好了更改密钥的问题,那么还有一个问题要解决,如何分享你的初始密钥?在秘密松鼠示例中,你经过对每一个成员进行物理访问来解决了这个问题,能够亲自把密钥告诉每一个成员,让他们保守秘密,但要记住,有人会是最薄弱的环节。

如今,假设你从另外一个物理位置向秘密松鼠会添加一个成员,如何与这个会员分享这个秘密?每次更改密钥时,你都让他们搭飞机去找你吗?若是你能把密钥放在你的服务器上并自动共享,那就太好了。不幸的是,这会挫败加密的所有目的,由于任何人均可以获得密钥!

固然,你能够给每一个人一个初始的主密钥来获取秘密信息,但如今你遇到的问题是之前的两倍。若是你为之头痛,别担忧!你不是惟一一个。

你须要的是两个从未交流过的人有一个共同的秘密。听起来不可能,对吧?幸运的是,有三我的:拉尔夫·梅克尔、惠特菲尔德·迪菲和马丁·赫尔曼,他们支持你,他们证实了公钥加密(也就是所谓的非对称加密)是可能的。

注:虽然惠特菲尔德·迪菲和马丁·赫尔曼被普遍认为是第一个发现这一计划的人,但据1997年的披露,在GCHQ工做的三人:詹姆斯·H·埃利斯、克利福德·考克斯和马尔科姆·J·威廉森早在七年前就展现了这种功能!

非对称加密容许两个从未有过通讯的用户共享一个共同的秘密。理解基本原理的最简单方法之一是使用颜色类比。假设你有如下场景:

在这个图表中,你试图与一个你从未见过的“秘密松鼠”成员交流,但间谍能够看到你发送的全部信息。你知道对称加密而且想使用它,可是首先须要共享一个密钥。幸运的是,大家俩都有私钥。不幸的是,你不能发送你的私钥,由于间谍会看到它。那你怎么办?

你须要作的第一件事就是赞成使用你的伙伴的颜色,好比黄色:

注意这里间谍能够看到共享的颜色,你和秘密松鼠也能够。共享颜色其实是公开的。如今,你和秘密松鼠将你的私钥与共享颜色结合起来:

你的颜色组合成绿色,而秘密松鼠的颜色组合成橙色。大家两个都使用了共享颜色,如今大家须要彼此共享组合的颜色:

你如今有了你的私钥和秘密松鼠的颜色组合。一样地,秘密松鼠有他们的私钥和你的组合颜色。你和秘密松鼠很快就把大家的颜色组合起来了。

然而,间谍只有这两种颜色。要想弄清楚你的原色是很是困难的,即便给定了最初的共享颜色。间谍得去商店买不少不一样的蓝颜料来试试。即便这样,也很难知道他们在组合后是否看到了具备正确深浅度的绿色!简而言之,你的私钥仍然是私钥。

可是你和那个“秘密松鼠”成员呢?大家仍然没有一个共同的秘密!这是你的私钥从新派上用场的地方。若是你把你的私钥和你从秘密松鼠那里获得的颜色组合在一块儿,那么你俩最终会获得相同的颜色:

如今,你和这个“秘密松鼠”成员有着相同的秘密颜色。你如今已经成功地和一个彻底陌生的人分享了一个安全的秘密。这对于公钥密码的工做方式来讲是惊人的精确。这个事件序列还有另外一个通用名称:Diffie-Hellman密钥交换。密钥交换由如下部分组成:

  • 私钥是示例中的私用颜色。
  • 公钥是你共享的组合颜色。

私钥是你始终保持私有的东西,而公钥能够与任何人共享。这些概念直接映射到Python HTTPS应用程序的现实世界。既然服务器和客户端有了一个共享的秘密,你可使用你的“老伙计”对称加密来对全部信息进行加密!

注意:公钥密码术也依赖于一些数学知识来进行颜色混合。Diffie-Hellman密钥交换的维基百科词条有很好的解释,可是深刻的解释不在本文的范围以内。

当你经过安全网站(如本网站)进行通讯时,你的浏览器和服务器使用这些相同的原则设置安全通讯:

  • 浏览器从服务器请求信息。
  • 浏览器和服务器交换公钥。
  • 浏览器和服务器生成共享私钥。
  • 浏览器和服务器使用此共享密钥经过对称加密对消息进行加密和解密。

幸运的是,你不须要实现这些细节。有许多内置库和第三方库能够帮助你保持客户端和服务器通讯的安全。

真实的HTTPS

考虑到全部这些关于加密的信息,让咱们把范围缩小一点,讨论一下Python HTTPS应用在真实的项目中的实际方式,加密只是事情的一半,访问安全网站时,须要两个主要组件:

  • 加密:将明文转换为密文并返回。
  • 身份认证:验证某人或事物是否名副其实。

你已经了解了关于加密的工做原理,可是如何身份认证?要了解真实项目中的身份认证,须要了解公钥基础结构(PKI)。PKI在安全生态系统中引入了另外一个重要概念:证书。

证书就是互联网上的护照,和计算机世界中的大多数东西同样,它们只是含有数据的文件中。通常来讲,证书包括如下信息:

  • 颁发给:标识证书的全部者
  • 颁发者:标识颁发证书的人
  • 有效期:标识证书有效的时间范围

就像护照同样,证书只有在由权威机构生成和承认的状况下才真正有用。你的浏览器不可能知道你在互联网上访问的每一个站点的每一个证书,相反,PKI依赖于一个称为证书颁发机构(CA)的概念。

证书颁发机构负责颁发证书。在PKI中,它们被认为是可信的第三方(TTP)。本质上,这些实体充当证书的有效权限。假设你想去另外一个国家,你有一本护照,上面有你全部的信息。在外国的移民官员怎么知道你的护照上包含有效的信息?

若是你要本身填写全部信息并签字,那么你想访问的每一个国家的每一个移民官都须要亲自了解你,而且可以证实那里的信息确实正确。

处理此问题的另外一种方法是将全部信息发送到可信的第三方(TTP)。TTP会对你提供的资料进行完全调查,核实你的要求,而后签署你的护照。事实证实,这更为实际,由于移民局官员只须要了解可信的第三方。

TTP是如何在实践中处理证书的?过程以下:

  • 建立证书签名请求(CSR):这就像填写签证信息同样。
  • 将CSR发送给可信的第三方(TTP):这就像将你的信息发送到签证申请办公室。
  • 验证你的信息:无论怎样,TTP须要验证你提供的信息。做为一个例子,请看Amazon如何验证全部权。
  • 生成一个公钥:TTP签署你的CSR。这至关于TTP签署你的签证。
  • 签发已验证的公钥:这至关于你在邮件中收到签证。

请注意,CSR以加密方式绑定到你的私钥。所以,信息公钥、私钥和证书颁发机构的全部三个部分都以某种方式相关。这将建立所谓的信任链,所以你如今拥有一个有效的证书,能够用来核实你的身份。

大多数状况下,这是网站全部者的责任,网站全部者将遵循全部这些步骤。在这个过程结束时,他们的证书上写着:

根据Y,从时间A和时间B期间,我是X
复制代码

这句话就是证书真正告诉你的。变量的填写方法以下:

  • A是有效的开始日期和时间。
  • B是有效的结束日期和时间。
  • X是服务器的名称。
  • Y是证书颁发机构的名称。

基本上,这都是证书描述的。换句话说,有证书并不必定意味着你就是你所说的那我的,只是你让Y赞成 你就是你所说的那我的。这就是可信的第三方的“可信”部分。

TTP须要在客户端和服务器之间共享,以便每一个人都对HTTPS握手感到满意。你的浏览器会自动安装许多证书,要查看它们,请执行如下步骤:

  • Chrome:进入设置>高级>隐私和安全>管理证书>权限。
  • Firefox:进入设置>首选项>隐私和安全>查看证书>权限。

这涵盖了在真实项目中建立Python HTTPS应用所需的基础知识,接下来,把这些概念应用到本身的代码中,调试一个常见的示例,并成为你本身的秘密松鼠证书颁发机构!

Python HTTPS应用

你已经了解了制做Python HTTPS应用所需的基本知识,如今是将全部知识逐一绑定到你的应用的时候了,这将让服务器和客户端之间的通讯更安全。

能够在本身的机器上设置整个PKI基础设施,这正是本节中要作的。没有听起来那么难,因此别担忧!成为一个真正的证书颁发机构要比采起如下步骤困可贵多,但你将要读到的大致上是你运行本身的CA(证书颁发机构)所需的所有内容。

成为证书颁发机构

证书颁发机构只不过是一对很是重要的公钥和私钥。要成为CA(证书颁发机构),只须要生成一个公钥和私钥对。

注意:成为公众使用的CA是一个很是艰难的过程,尽管有不少公司遵循了这个过程。可是,到本文时,你也不会是这些公司中的一员!

你的初始公钥和私钥对将是自签名证书。若是你真的要成为一个CA(证书颁发机构),那么这个私钥的安全是很是重要的。若是有人能够访问CA的公钥和私钥对,他也能够生成一个彻底有效的证书,而且除了中止信任你的CA以外,你没法检测该问题。

解除警告后,你能够当即生成证书。首先,生成一个私钥。将如下内容粘贴到名为pki_helpers.py的文件中:

# pki_helpers.py

from cryptography.hazmat.backends import default_backend
from cryptography.hazmat.primitives import serialization
from cryptography.hazmat.primitives.asymmetric import rsa


def generate_private_key(filename: str, passphrase: str):
    private_key = rsa.generate_private_key(
        public_exponent=65537, key_size=2048, backend=default_backend()
    )

    utf8_pass = passphrase.encode("utf-8")
    algorithm = serialization.BestAvailableEncryption(utf8_pass)

    with open(filename, "wb") as keyfile:
        keyfile.write(
            private_key.private_bytes(
                encoding=serialization.Encoding.PEM,
                format=serialization.PrivateFormat.TraditionalOpenSSL,
                encryption_algorithm=algorithm,
            )
        )

    return private_key
复制代码

generate_private_key()使用RSA生成私钥。下面是代码的分解:

  • 第2行到第4行导入运行该函数所需的库。
  • 第7行到第9行使用RSA生成私钥。神奇的数字65537和2048只是两个可能的值。你能够阅读更多关于这些数字有用的缘由,或只是简单相信这些数字是有用的。
  • 第11到12行设置用于私钥的加密算法。
  • 第14至21行按指定的文件名将私钥写入磁盘。此文件使用提供的密码来加密。

成为你本身的CA的下一步是生成自签名公钥。你能够绕过证书签名请求(CSR)并当即生成公钥。将如下内容粘贴到pki_helpers.py中:

# pki_helpers.py

from datetime import datetime, timedelta
from cryptography import x509
from cryptography.x509.oid import NameOID
from cryptography.hazmat.primitives import hashes

def generate_public_key(private_key, filename, **kwargs):
    subject = x509.Name(
        [
            x509.NameAttribute(NameOID.COUNTRY_NAME, kwargs["country"]),
            x509.NameAttribute(
                NameOID.STATE_OR_PROVINCE_NAME, kwargs["state"]
            ),
            x509.NameAttribute(NameOID.LOCALITY_NAME, kwargs["locality"]),
            x509.NameAttribute(NameOID.ORGANIZATION_NAME, kwargs["org"]),
            x509.NameAttribute(NameOID.COMMON_NAME, kwargs["hostname"]),
        ]
    )

    # Because this is self signed, the issuer is always the subject
    issuer = subject

    # This certificate is valid from now until 30 days
    valid_from = datetime.utcnow()
    valid_to = valid_from + timedelta(days=30)

    # Used to build the certificate
    builder = (
        x509.CertificateBuilder()
        .subject_name(subject)
        .issuer_name(issuer)
        .public_key(private_key.public_key())
        .serial_number(x509.random_serial_number())
        .not_valid_before(valid_from)
        .not_valid_after(valid_to)
    )

    # Sign the certificate with the private key
    public_key = builder.sign(
        private_key, hashes.SHA256(), default_backend()
    )

    with open(filename, "wb") as certfile:
        certfile.write(public_key.public_bytes(serialization.Encoding.PEM))

    return public_key
复制代码

tu

这里有一个新的函数generate_public_key(),它将生成一个自签名的公钥。下面是这段代码的工做原理:

  • 第2行到第5行是运行该函数所需的导入。
  • 第8行到第18行创建了有关证书主题的信息。
  • 第21行使用相同的颁发者和使用者,由于这是自签名证书。
  • 第24至25行指示此公钥有效的时间范围。在这个示例中,有效期是30天。
  • 第28到36行将全部必需的信息添加到公钥生成器对象中,该对象须要进行签名。
  • 第38至41行用私钥签署公钥。
  • 第43到44行将公钥写入文件名。

使用这两个函数,你能够在Python中快速生成私钥和公钥对:

>>> from pki_helpers import generate_private_key, generate_public_key
>>> private_key = generate_private_key("ca-private-key.pem", "secret_password")
>>> private_key
<cryptography.hazmat.backends.openssl.rsa._RSAPrivateKey object at 0x7ffbb292bf90>
>>> generate_public_key(
...   private_key,
...   filename="ca-public-key.pem",
...   country="US",
...   state="Maryland",
...   locality="Baltimore",
...   org="My CA Company",
...   hostname="my-ca.com",
... )
<Certificate(subject=<Name(C=US,ST=Maryland,L=Baltimore,O=My CA Company,CN=logan-ca.com)>, ...)>
复制代码

pki_helpers导入函数后,首先生成私钥并将其保存到文件ca-private-key.pem。而后将该私钥传递到generate_public_key()以生成公钥。在你的目录中,如今应该有两个文件:

$ ls ca*
ca-private-key.pem ca-public-key.pem
复制代码

祝贺你!你如今有能力成为证书颁发机构了。

信任你的服务器

要使服务器变得可信,第一步是生成证书签名请求(CSR)。在现实世界中,CSR将被发送到实际的证书颁发机构,如Verisign或Let's Encrypt。在本例中,你将使用刚刚建立的CA。

将生成CSR的代码从上面粘贴到pki_helpers.py文件中::

# pki_helpers.py

def generate_csr(private_key, filename, **kwargs):
    subject = x509.Name(
        [
            x509.NameAttribute(NameOID.COUNTRY_NAME, kwargs["country"]),
            x509.NameAttribute(
                NameOID.STATE_OR_PROVINCE_NAME, kwargs["state"]
            ),
            x509.NameAttribute(NameOID.LOCALITY_NAME, kwargs["locality"]),
            x509.NameAttribute(NameOID.ORGANIZATION_NAME, kwargs["org"]),
            x509.NameAttribute(NameOID.COMMON_NAME, kwargs["hostname"]),
        ]
    )

    # Generate any alternative dns names
    alt_names = []
    for name in kwargs.get("alt_names", []):
        alt_names.append(x509.DNSName(name))
    san = x509.SubjectAlternativeName(alt_names)

    builder = (
        x509.CertificateSigningRequestBuilder()
        .subject_name(subject)
        .add_extension(san, critical=False)
    )

    csr = builder.sign(private_key, hashes.SHA256(), default_backend())
    with open(filename, "wb") as csrfile:
        csrfile.write(csr.public_bytes(serialization.Encoding.PEM))

    return csr
复制代码

在大多数状况下,此代码与生成原始公钥的方式相同。主要区别概述以下:

  • 第16至19行设置备用DNS名称,该名称对你的证书有效。
  • 第21行到第25行生成不一样的生成器对象,但一样的基本原则与之前同样适用。你正在为CSR构建全部必需的属性。
  • 第27行用私钥签署CSR。
  • 第29至30行将CSR以PEM格式写入磁盘。

你会注意到,为了建立CSR,首先须要一个私钥。幸运的是,你能够在建立CA的私钥时使用相同的generate_private_key() 。使用上面的函数和前面定义的方法,能够执行如下操做:

>>> from pki_helpers import generate_csr, generate_private_key
>>> server_private_key = generate_private_key(
...   "server-private-key.pem", "serverpassword"
... )
>>> server_private_key
<cryptography.hazmat.backends.openssl.rsa._RSAPrivateKey object at 0x7f6adafa3050>
>>> generate_csr(
...   server_private_key,
...   filename="server-csr.pem",
...   country="US",
...   state="Maryland",
...   locality="Baltimore",
...   org="My Company",
...   alt_names=["localhost"],
...   hostname="my-site.com",
... )
<cryptography.hazmat.backends.openssl.x509._CertificateSigningRequest object at 0x7f6ad5372210>
复制代码

在控制台中运行这些步骤后,你应该获得两个新文件:

  • server-private-key.pem:服务器的私钥
  • server-csr.pem:服务器的CSR

你能够从控制台查看新的CSR和私钥:

$ ls server*.pem
server-csr.pem  server-private-key.pem
复制代码

有了这两个文档,如今能够开始对密钥进行签名。一般,在这一步中会进行大量的验证。在实际项目中,CA会确保你拥有my-site.com,并要求你以各类方式证实它。

既然你是本例中的CA,就能够避免这些麻烦的证实,建立你本身的已验证的公钥。为此,你将在pki_helpers.py文件中添加另外一个函数:

# pki_helpers.py
def sign_csr(csr, ca_public_key, ca_private_key, new_filename):
    valid_from = datetime.utcnow()
    valid_until = valid_from + timedelta(days=30)

    builder = (
        x509.CertificateBuilder()
        .subject_name(csr.subject)
        .issuer_name(ca_public_key.subject)
        .public_key(csr.public_key())
        .serial_number(x509.random_serial_number())
        .not_valid_before(valid_from)
        .not_valid_after(valid_until)
    )

    for extension in csr.extensions:
        builder = builder.add_extension(extension.value, extension.critical)

    public_key = builder.sign(
        private_key=ca_private_key,
        algorithm=hashes.SHA256(),
        backend=default_backend(),
    )

    with open(new_filename, "wb") as keyfile:
        keyfile.write(public_key.public_bytes(serialization.Encoding.PEM))
复制代码

这段代码看起来很是相似于generate_ca.py文件中的generate_public_key()。事实上,它们几乎是同样的。主要区别以下:

  • 第8行到第9行将使用者名称基于CSR,而颁发者基于证书颁发机构(CA)。
  • 第10行此次从CSR获取公钥。
  • 第16至17行复制CSR上设置的全部扩展名。
  • 第20行用CA的私钥签署公钥。

下一步是启动Python交互模式,并使用sign_csr(),须要加载CSR和CA的私钥和公钥,从加载CSR开始:

>>> from cryptography import x509
>>> from cryptography.hazmat.backends import default_backend
>>> csr_file = open("server-csr.pem", "rb")
>>> csr = x509.load_pem_x509_csr(csr_file.read(), default_backend())
>>> csr
<cryptography.hazmat.backends.openssl.x509._CertificateSigningRequest object at 0x7f68ae289150>
复制代码

在本节代码中,你将打开server-csr.pem文件,并使用x509.load_pem_x509_csr()建立csr对象。接下来,你须要加载CA的公钥:

>>> ca_public_key_file = open("ca-public-key.pem", "rb")
>>> ca_public_key = x509.load_pem_x509_certificate(
...   ca_public_key_file.read(), default_backend()
... )
>>> ca_public_key
<Certificate(subject=<Name(C=US,ST=Maryland,L=Baltimore,O=My CA Company,CN=logan-ca.com)>, ...)>
复制代码

再次,你建立了一个ca_public_key对象,它能够被sign_csr()使用。x509模块有一个便利的load-pem-x509-u certificate()来帮助你。最后一步是加载CA的私钥:

>>> from getpass import getpass
>>> from cryptography.hazmat.primitives import serialization
>>> ca_private_key_file = open("ca-private-key.pem", "rb")
>>> ca_private_key = serialization.load_pem_private_key(
...   ca_private_key_file.read(),
...   getpass().encode("utf-8"),
...   default_backend(),
... )
Password:
>>> private_key
<cryptography.hazmat.backends.openssl.rsa._RSAPrivateKey object at 0x7f68a85ade50>
复制代码

此代码将加载你的私钥。回想一下,你的私钥是使用你指定的密码加密的。使用这三个组件,你如今能够签署CSR并生成已验证的公钥:

>>> from pki_helpers import sign_csr
>>> sign_csr(csr, ca_public_key, ca_private_key, "server-public-key.pem")
复制代码

运行此命令后,目录中应该有三个服务器密钥文件:

$ ls server*.pem
server-csr.pem  server-private-key.pem  server-public-key.pem
复制代码

这里的工做量至关大。好消息是,既然有了私钥和公钥对,你没必要更改任何服务器代码就能够开始使用它了。

使用之前的server.py文件,运行如下命令启动全新的Python HTTPS应用:

$ uwsgi \
    --master \
    --https localhost:5683,\
            logan-site.com-public-key.pem,\
            logan-site.com-private-key.pem \
    --mount /=server:app
复制代码

祝贺!你如今有了一个支持Python HTTPS的服务器,它运行着你本身的私钥-公钥对,私钥-公钥对是由你本身的证书颁发机构签署的!

如今,剩下要作的就是查询服务器。首先,须要对client.py代码进行一些更改:

# client.py
import os
import requests

def get_secret_message():
    response = requests.get("https://localhost:5683")
    print(f"The secret message is {response.text}")

if __name__ == "__main__":
    get_secret_message()
复制代码

与前面的代码相比,唯一的变化是从http改成https。若是尝试运行此代码,则会遇到错误:

$ python client.py
...
requests.exceptions.SSLError: \
    HTTPSConnectionPool(host='localhost', port=5683): \
    Max retries exceeded with url: / (Caused by \
    SSLError(SSLCertVerificationError(1, \
    '[SSL: CERTIFICATE_VERIFY_FAILED] \ certificate verify failed: unable to get local issuer \ certificate (_ssl.c:1076)')))
复制代码

这是一个很是糟糕的错误信息!这里的重要部分是信息证书验证失败:没法获取本地颁发者。你如今应该更熟悉这些词了。从本质上讲,它是这样说的:

`localhost:5683` gave me a certificate. I checked the issuer of the certificate it gave me, and according to all the Certificate Authorities I know about, that issuer is not one of them.
复制代码

若是尝试使用浏览器打开你的网站,则会收到相似信息:

若是要避免此信息,你必须返回有关你的证书颁发机构!只需将请求指向你先前生成的ca-public-key.pem文件:

# client.py
def get_secret_message():
    response = requests.get("http://localhost:5683", verify="ca-public-key.pem")
    print(f"The secret message is {response.text}")
复制代码

完成此操做后,你应该可以成功运行如下代码:

$ python client.py
The secret message is fluffy tail
复制代码

很好!已经建立了一个功能完善的Python HTTPS服务器并成功实现了查询功能。如今,你和秘密松鼠之间能够愉快和安全地交换信息!

结论

在本问中,你学习了当前Internet上安全通讯的一些核心基础,如今已经了解了这些构建模块,你将成为一个更好、更安全的开发人员。

若是你对这些信息感兴趣,那你就走运了!你仅仅走马观花式地触及了每一层中全部的细微差异。安全世界不断发展,新的技术和漏洞也不断被发现。

原文连接:realpython.com/python-http…

关注微信公众号:老齐教室。读深度文章,得精湛技艺,享绚丽人生。

相关文章
相关标签/搜索