为何咱们选择Java开发高频交易系统?

在高频交易领域,自动化应用程序天天须要处理数亿个市场交易信号,并在全球各交易所之间发送成千上万的订单。java

为了保持竞争力,响应时间必须始终保持在微秒级,特别是在发生相似“黑天鹅”事件的异常高峰期。git

在一个典型的架构中,金融市场的交易信号被转换成内部的市场数据格式(使用各类协议,如 TCP/IP、UDP 组播和多种格式,如二进制、SBE、JSON、FIX 等)。程序员

这些规范化的消息被发送到算法服务器、统计引擎、用户界面、日志服务器和各类类型的数据库(内存数据库、物理数据库、分布式数据库)。github

这条路径上的任何一个延迟都有可能带来严重后果(好比基于旧价格作出战略决策或订单到达交易市场的时间太迟),并为此付出惨重代价。算法

为了加快相当重要的几微秒,大多数券商投入了昂贵的硬件:服务器组配备了超频液冷的 CPU(在 2020 年,你能够买到单台配备了 56 核 5.6 GHz CPU 和 1 TB 内存的服务器)、靠近交易所的数据中心、纳秒级高端网络交换机、海底专线(Hibernian Express 是一家主要的供应商),甚至是微波网络。数据库

咱们常常看到高度定制的能够绕过操做系统的 Linux 内核,数据能够直接从网卡“跳转”到应用程序、IPC(进程间通讯),甚至是 FPGA(可编程单用途芯片)。编程

在编程语言方面,C++彷佛是服务器端应用程序的自然竞争者:它速度快,与机器码很是接近,并且一旦针对目标平台进行编译,就能够提供恒定的处理时间。设计模式

可是,咱们作了一个不同的选择。性能优化

在过去的14年里,咱们一直在用Java开发外汇算法交易系统,并使用了很棒但价格实惠的硬件。

因为团队规模小,资源有限,技术能力强的开发人员难找,因此使用 Java 意味着咱们能够快速地改进软件功能,由于 Java 生态系统比 C 语言生态系统的发布速度更快。上午讨论功能改进,下午就能够实现、测试并发布到生产环境。服务器

与那些须要几周甚至几个月才能发布更新的大公司相比,这是一个关键的优点。在高频交易领域,一个漏洞能够在几秒钟内抹掉一全年的利润,因此咱们不打算在质量上作任何妥协。咱们搭建了一个严格的敏捷开发环境,包括 Jenkins、Maven、单元测试、夜晚构建和 Jira,使用了不少开源库和项目。

使用 Java,开发人员能够专一于直观的面向对象业务逻辑,而不是浪费时间去调试一些晦涩的内存核心转储或管理 C++指针。并且,因为 Java 强大的内存管理能力,即便是初级程序员也能够在第一天加入项目时为系统带来价值,并且风险很小。

有了良好的设计模式和干净的编码习惯,Java 的速度可与 C++相媲美。

例如,Java 会优化和编译在应用程序运行期间观察到的最佳路径,但 C++会预先编译全部东西,所以即便未被使用的方法也会成为可执行二进制文件的一部分。

可是,Java 有一个问题,它让 Java 成为一门强大且使人喜好的编程语言,但也成了 Java 的缺点之一(至少对于微秒级应用程序来讲)——Java 虚拟机(JVM):

  1. Java在运行过程当中编译代码(JIT),这意味着当它第一次运行某些代码时,会有编译延迟。
  2. Java管理内存的方式是在“堆”空间中分配内存块。每隔一段时间,它就会清理空间,移除旧对象,为新对象腾出空间。主要的问题是,为了进行准确的计数,应用程序线程须要暂时“冻结”。这个过程称为垃圾回收(GC)。

GC 是低延迟应用程序开发人员可能会放弃 Java 的主要缘由。

市场上有一些可用的 Java 虚拟机。

最多见的是 Oracle Hotspot JVM,它在 Java 社区中被普遍使用,主要是一些历史缘由。

对于很是苛刻的应用程序,有一个很棒的替代方案,也就是 Azul Systems 的 Zing。

Zing 是标准 Oracle Hotspot JVM 的一个强大的替代品。Zing 解决了 GC 停顿和 JIT 编译问题。

接下来,让咱们来研究一下 Java 的一些固有问题和可能的解决方案。

了解 Java 的 JIT 编译器

像 C++这样的编程语言被称为编译型语言,由于发布的代码彻底是二进制的,能够直接在 CPU 上执行。

PHP 或 Perl 被称为解释型语言,由于解释器(安装在目标机器上)会在运行时编译每一行代码。

Java 介于二者之间,它将代码编译成 Java 字节码,并在必要时再将其编译成二进制的。

Java 不在启动时编译代码的缘由与后续的性能优化有关。经过观察应用程序运行并分析实时方法调用和类初始化状况,Java 对常常被调用的代码部分进行编译。它甚至可能会根据经验作出一些假设(某些代码永远不会被调用,或者某个对象始终是一个字符串)。

编译过的代码执行速度很是快,但有三个缺点:

  1. 一个方法须要被调用必定次数才能达到编译阈值,而后才能被编译和优化(这个阈值是可配置的,一般在10000次左右)。在此以前,未优化的代码不会“全速”运行。在更快的编译和高质量的编译之间存在折衷(若是假设是错误的,就会发生编译成本)。
  2. 当Java应用程序从新启动时,咱们又回到了起点,必须等待再次达到阈值。
  3. 有些应用程序有一些不常被调用但很关键的方法,这些方法只会被调用几回,但在被调用时须要很是快。

Zing 经过让它的 JVM“保存”已编译的方法和类的状态(也就是所谓的 profile)来解决这些问题。这个独特的功能叫作 ReadyNow,也就是说 Java 应用程序能够始终以最佳速度运行,即便是在重启以后。

当你使用已有的 profile 从新启动应用程序,Azul JVM 会当即收回之前的决策并直接编译重要的方法,以解决 Java 的预热问题。

此外,你也能够在开发环境中构建一个 profile 来模拟生产行为。优化后的 profile 能部署到生产环境中,并知道全部关键路径都已通过编译和优化。

下图显示了交易应用程序(在模拟环境中)的最大延迟。

Hotspot JVM 的延时峰值是显而易见的,而 Zing 的延时保持得至关稳定。

百分比分布代表,在 1%的时间内,Hotspot JVM 发生的延迟是 Zing JVM 的 16 倍。

解决垃圾回收停顿问题

第二个问题是在垃圾回收期间,整个应用程序可能会停顿几毫秒到几秒钟(延迟会随着代码复杂性和堆大小的增长而增长),更糟糕的是,你没法控制这种状况什么时候发生。

虽然对不少 Java 应用程序来讲,暂停应用程序几毫秒甚至几秒是能够接受的,但对于低延迟应用程序来讲,这是一场灾难,不管是在汽车、航空航天、医疗仍是金融领域。

GC 影响对于 Java 开发人员来讲是一个很大话题,Full GC 一般也叫做“中止世界的停顿(stop-the-world)”,由于它会冻结整个应用程序。

多年来,有不少 GC 算法都试图下降吞吐量(有多少 CPU 时间用于应用程序逻辑执行而不是垃圾回收)和 GC 停顿(我能够暂停应用程序多长时间)。

从 Java 9 发布以来,G1 一直是默认的垃圾回收器,其主要思想是根据用户提供的时间目标对 GC 停顿进行划分。它一般提供较短的停顿时间,但以下降吞吐量为代价。此外,停顿时间随着堆的大小而增长。

Java 提供了大量的设置参数,从堆大小到回收算法以及分配给 GC 的线程数。所以,Java 应用程序一般会配置大量的参数:

不少开发人员经过各类技术来避免 GC。最主要的是,若是咱们少建立一些对象,那么后续要清除的对象就越少。

一种古老的(仍然在使用)技术是使用对象池。例如,数据库链接池能够保存 10 个已经打开的数据库链接,以便在须要时使用。

多线程一般须要锁,这会致使同步延迟和停顿(特别是当它们共享资源时)。一种流行的方式是使用环形缓冲队列系统,多个线程能够在一个无锁的环境中(请参考disruptor)进行读写操做。

一些专家甚至处于无奈而选择彻底覆盖 Java 的内存管理机制,由本身来管理内存分配,这虽然解决了问题,但也带来了更多的复杂性和风险。

所以,咱们须要考虑使用其余 JVM,因而咱们决定尝试 Azul Zing JVM。

很快,咱们就可以在几乎无停顿的状况下实现很高的吞吐量。

这是由于 Zing 使用了一个叫做 C4(Continuously Concurrent Compacting Collector,连续并发压缩回收器)的垃圾回收器,它能够进行无停顿的垃圾回收,而无论 Java 堆有多大(能够达到 8TB)。

这是经过在应用程序运行时并发映射和压缩内存来实现的。

此外,它不须要修改代码,并且延迟和速度方面的改进都是开箱即用的,不须要进行繁杂的配置。

Java 程序员能够享受到两方面的好处:Java 的简单性(不须要担忧建立太多的新对象)和 Zing 的底层性能,容许系统中出现高度可预测的延迟。

GCeasy提供了通用 GC 日志分析器,咱们能够在真实的自动交易应用程序(在模拟环境中)中快速地对 JVM 进行比较。

在咱们的应用程序中,使用 Zing 的 GC 大约比使用标准 Oracle Hotspot JVM 的 GC 快 180 倍。

更使人印象深入的是,GC 停顿一般对应于实际的应用程序停顿时间,而 Zing 的 GC 一般是并行发生的,实际的停顿不多,甚至没有停顿。

总之,在享受 Java 的简单和特性的同时,仍然有可能实现高性能和低延迟。C++通常用于开发特定的底层组件,如驱动程序、数据库、编译器和操做系统,但大多数现实生活中的应用程序可使用 Java 开发,甚至是要求很高的应用程序。

这就是为何 Java 是排名第一的编程语言(根据 Oracle 的说法),并拥有数百万开发者,在全世界有超过 510 亿个 Java 虚拟机。

推荐阅读

为何阿里巴巴的程序员成长速度这么快,看完他们的内部资料我懂了

程序员达到50W年薪所须要具有的知识体系。

—小时解读并发编程三大特性

关于【暴力递归算法】你所不知道的思路

看完三件事❤️

若是你以为这篇内容对你还蛮有帮助,我想邀请你帮我三个小忙:

点赞,转发,有大家的 『点赞和评论』,才是我创造的动力。

关注公众号 『 Java斗帝 』,不按期分享原创知识。

同时能够期待后续文章ing🚀

相关文章
相关标签/搜索