<转> 从20秒到0.5秒：一个使用Rust语言来优化Python性能的案例

注： 转自 微信公众号“高可用架构”：从20秒到0.5秒：一个使用Rust语言来优化Python性能的案例

---

导读：Python 被不少互联网系统普遍使用，但在另一方面，它也存在一些性能问题，不过 Sentry 工程师分享的在关键模块上用另一门语言 Rust 来代替 Python 的状况仍是比较罕见，也在 Python 圈引起了热议，高可用架构小编将文章翻译转载以下。

Sentry 是一个帮助在线业务进行监控及错误分析的云服务，它每个月处理超过十亿次错误。咱们已经可以扩展咱们的大多数系统，但在过去几个月，Python 写的 source map 处理程序已经成为咱们性能瓶颈所在。（译者：source map 就是将压缩或者混淆过的代码与原始代码的对应表）

从上周开始，基础设施团队决定调查 source map 处理程序的性能瓶颈。——咱们的 Javascript 客户端已经成为咱们最受欢迎的程序，其中一个缘由是咱们经过 source map 反混淆 JavaScript 的能力。然而，处理操做不是没有代价的。咱们必须获取，解压缩，反混淆而后反向扩张，使 JavaScript 堆栈跟踪可读。

当咱们在 4 年前编写了原始处理流水线时，source map 生态系统才刚刚开始演化。随着它成长为一个复杂而成熟的 source map 处理程序，咱们花了不少时间用 Python 来处理问题。

截至昨天，咱们经过 Rust 模块替换咱们老的 Python 的 souce map 处理模块，大大减小了处理时间和咱们的机器上的 CPU 利用率。

为了解释这一切，咱们须要先理解 source map 和用 Python 的缺点。

Python 的 Source Maps

随着咱们的用户的应用程序变得愈来愈复杂，他们的 source map 也愈来愈复杂。在 Python 中解析 JSON 自己是足够快的，由于它们只是字符串而已。问题在于反序列化。每一个 source map token 产生一个 Python 对象，咱们有一些 source map 可能有几百万个 token。

将 source map token 反序列化的问题使得咱们为基本 Python 对象支付巨大的成本。另外，全部这些对象都参与引用计数和垃圾收集，这进一步增长了开销。处理 30MB source map 使得单个 Python 进程在内存中扩展到〜 800MB，执行数百万次内存分配，并使垃圾收集器很是忙碌（译者注：token 是短生命周期对象，有新生代就好多了，这时候就体现出我大 Java 的优点了）。

因为这种反序列化须要对象头和垃圾回收机制，咱们能在 Python 层作改进的空间很是小。

Rust 的 Source Maps

在调查发现问题在于 Python 的性能缺陷后，咱们决定尝试 Rust source map 解析器的性能，这是为咱们的 CLI 工具编写的。在将 Rust 解析器应用于问题很大的 source map 以后，其代表单独使用该库进行解析能够将处理时间从 > 20 秒减小到 < 0.5 秒。这意味着即便忽略任何优化，只是将 Python 解析器替换为 Rust 解析器就能够缓解咱们的性能瓶颈。

咱们证实 Rust 确实更快后，就清理了一些 Sentry 内部 API，以便咱们能够用新的库替换原来的实现。这个 Python 库命名为 libsourcemap，是咱们本身的 Rust source map 的一个薄包装。

优化结果

部署该库后，专门用于 source map 处理的机器压力大大下降。

最糟糕的 source map 处理时间减小到原来的十分之一。

更重要的是，平均处理时间减小到〜 400 ms。

JavaScript 是咱们最受欢迎的项目语言，这种变化达到了将全部事件的端到端处理时间减小到〜 300 ms。

在 Python 中 嵌入 Rust

有不少方法能够暴露 Rust 库给 Python。咱们选择将 Rust 代码编译成一个 dylib，并提供一些 ol'C 函数，经过 CFFI 和 C 头文件暴露给 Python。有了 C 语言头文件，CFFI 生成一些 shim（ shim 是一个小型的函数库，用于透明地拦截 API 调用，修改传递的参数、自身处理操做、或把操做重定向到其余地方），能够调用 Rust。这样，libsourcemap 能够打开在运行时从 Rust 生成的动态共享库。

这个过程有两个步骤。第一个是在 setup.py 运行时配置 CFFI 的构建模块：

在构建模块以后，头文件经过 C 预处理器来处理，以便扩展宏（ CFFI 自己没法执行的过程）。此外，这将告诉 CFFI 在哪里放置生成的 shim 模块。全部完成的以后，加载模块：

下一步是编写一些包装器代码来为 Rust 对象提供一个 Python API，这样可以转发异常。这发生在两个过程当中：首先，确保在 Rust 代码中，咱们尽量使用结果对象。此外，咱们须要处理好 panic，以确保他们不会跨越 DLL 边界。第二，咱们定义了一个能够存储错误信息的帮助结构 ; 并将其做为 out 参数传递给可能失败的函数。

在 Python 中，咱们提供了一个上下文管理器：

咱们有一个特定错误类（ special_errors）的字典，但若是没有找到具体的错误，将会抛一个通用的 SourceMapError。

从那里，咱们实际上能够定义 source map 的基类：

在 Rust 中暴露 C API

咱们从包含一些导出函数的 C 头开始，如何从 Rust 导出它们？ 有两个工具：特殊的＃ [no_mangle] 属性和 std :: panic 模块 ; 提供了 Rust panic 处理器。咱们本身创建了一些 helper 来处理这个：一个函数用来通知 Python 发生了一个异常和两个异常处理 helper，一个通用的，另外一个包装了返回值。有了这个，包装方法以下：

boxed_landingpad 的工做方式很简单。它调用闭包，用 panic :: catch_unwind 捕获 panic，解开结果，并在原始指针中加上成功值。若是发生错误，它会填充 err_out 并返回一个 NULL 指针。在 lsm_view_free 中，只须要从原始指针从新构建。

构建扩展

要实际构建扩展，咱们必须在 setuptools 中作一些不太优雅的事情。幸运的是，在这件事上咱们没有花太多时间，由于咱们已经有一个相似的工具来处理。

这个作法最方便的部分是源代码用 cargo 编译，二进制安装最终的 dylib，消除任何最终用户使用 Rust 工具链的须要。

那些作得好，那些没作好？

我在 Twitter 上被问到：“ Rust 会有什么替代品？”说实话，Rust 很难替代。缘由是，除非你想用性能更好的语言重写整个 Python 组件，不然只能使用本机扩展。在这种状况下，对语言的要求是至关苛刻的：它不能有一个侵入式运行时，不能有一个 GC，而且必须支持 C ABI。如今，我认为适合的语言是 C，C++ 和 Rust。

哪方面工做的好：

• 结合 Rust 和 Python 与 CFFI。有一些替代品，连接到 libpython，但构建更复杂。

• 在老一些的 CentOS 版本使用 Docker 来构建可移植的 Linux 容器。虽然这个过程是乏味的，然而不一样的 Linux 发兴版和内核之间的稳定性的差别使得 Docker 和 CentOS 成为可接受的构建解决方案。

• Rust 生态系统。咱们使用 crates.io 的 serde 反序列化和 base64 库，两个库工做很是好。此外，mmap 支持使用由社区 memmap 提供的另外一库。

哪方面工做的很差：

• 迭代和编译时间真的能够更好。咱们每次更改字符时都编译模块和头文件。

• setuptools 步骤很是脆弱。咱们可能花了更多的时间来使 setuptools 工做。幸运的是，咱们之前作过一次，因此此次更容易。

虽然 Rust 对咱们的工做帮助很大，毫无疑问，有不少须要改进。特别是，用于导出 C ABI（并使其对 Python 有用）的基础设施应该有很大改进空间。编译时间也不是很长（译者的话，不是很长的意思是可可以我沏杯茶，怀念 go 的编译速度）。但愿增量编译将有所帮助。

下一步

其实咱们还有更多的改进空间。咱们能够以更高效的格式启动缓存，好比一组存储在内存中的结构体而不是使用解析 JSON。特别是，若是与文件系统缓存配对，咱们几乎能够彻底消除加载的成本，由于咱们平分了索引，这可使用 mmap 很是有效。

鉴于这个好的结果，咱们极可能会评估 Rust 更多在将来处理一些 CPU 密集型的业务。然而，对于大多数其余操做，程序花更多的时间等待 IO。

小结

虽然这个项目取得了巨大的成功，可是咱们只花了不多的时间来实现。它下降了咱们的处理时间，它也将帮助咱们水平扩展。Rust 一直是这个工做的完美工具，由于它容许咱们将昂贵的操做使用本地库完成，并且没必要使用 C 或 C ++（这不太适合这种复杂的任务）。虽然很容易在 Rust 中编写 source map 解析器，可是使用 C / C++ 来完成的话，代码更多，且没那么有意思。

咱们确实喜欢 Python，而且是许多 Python 开源计划的贡献者。虽然 Python 仍然是咱们最喜欢的语言，但咱们相信在合适的地方使用合适的语言。Rust 被证实是这项工做的最佳工具，咱们很高兴看到 Rust 和 Python 未来会带给咱们什么。

译者注：不熟悉 source map 的同窗请看阮一峰的这篇文章 http://www.ruanyifeng.com/blo...