简介一：低延迟交易架构技术研究

Posted 2020-10-03 TIM

作者：黄寅飞、叶婧、徐广斌

1 低延迟综述

近几年来，全球各大交易所纷纷对技术系统进行投资改造，其中竞争最激烈的指标就是订单处理延迟和行情发布延迟。低延迟的需求很大程度上来自于证券市场上高频交易比例的迅猛增长。在证券产品可以在多家交易所进行交易的情况下，能够更快处理订单、更快反馈行情的交易所，显然更能吸引采用高频交易策略的机构投资者。

以下对全球各大交易所技术系统的低延迟指标进行综述：

NASDAQ

纳斯达克OMX集团下属NASDAQ、费城、哥本哈根、赫尔辛基、冰岛、斯德哥尔摩、里加、塔林、维尔纽斯、First North等多个证券市场。NASDAQ是世界上最早的电子交易所。2005年收购Instinet获得INET电子交易平台技术。纳斯达克在2010年2月8日宣布INET在欧洲市场全面上线。INET系统处理延迟小于250微秒，每秒可处理100万笔订单，是当时世界上最快的交易所。

BATS

BATS公司下属BATS美国、BATS欧洲两个证券市场。BATS最早是电子交易平台，现成为美国第四大交易所。BATS系统处理延迟小于250微秒。

Direct-Edge

Direct-Edge公司下属EDGA、EDGX两个证券市场。Direct-Edge原为电子交易平台，2010年7月21日刚刚转为交易所，成为美国第三大交易所。Direct-Edge选择29West公司的UME产品作为中间件和撮合内核。Direct-Edge系统处理延迟估计应该在250微秒附近。

CHI-X

Chi-X Europe和Chi-X Global公司（均属于Instinet公司）下属欧洲、加拿大、日本等多个交易所外市场，并将进入澳大利亚、亚洲市场。Chi-X公司拥有Instinet公司的电子交易技术。Chi-X系统处理延迟小于500微秒。

纽交所

纽交所-泛欧集团下属纽约、ARCA、AMEX、阿姆斯特丹、巴黎、里斯本、布鲁塞尔、LIFFE等多个证券市场。2006年收购ARCA令纽交所获得电子交易平台技术。纽交所在美国市场使用ARCA系统，在欧洲市场从2008年底开始推行UTP系统，UTP系统的撮合内核仍为ARCA引擎。UTP系统处理延迟小于1毫秒，每秒可处理30万笔订单。

伦交所

伦交所集团下属伦敦、米兰、Turquoise等多个证券市场。2009年收购MillenniumIT公司令伦交所有能力自主开发交易系统。伦交所将于近期启用新建的Millennium系统，宣称处理延迟小于1毫秒。伦交所现有系统为TradElect，处理延迟约5毫秒。

德交所

德交所集团下属法兰克福、Eurex、ISE等多个证券市场。德交所拥有较强的自主开发技术能力，其交易系统（Xetra）被维也纳、爱尔兰、布达佩斯、瑞士等多家交易所采用。德交所预期于2011年开始在ISE推行新建的GTS系统，宣称处理延迟小于1毫秒。德交所现有系统为Xetra，处理延迟约5毫秒。

东交所

东交所在2010年1月4日启用新建的ArrowHead交易系统。订单处理延迟为5毫秒，行情发布延迟为3毫秒。

港交所

港交所计划2011年开发新的交易系统，希望把处理延迟降低至9毫秒。港交所现有系统为AMS/3，订单处理延迟估计应该在100毫秒附近。

新交所

新加坡交易所2011年将采用购自纳斯达克的INET平台，希望把处理延迟降低至200微秒。新交所现有系统为SGX GUEST，订单处理延迟估计应该在100毫秒附近。

 

根据以上交易所技术系统综述，将延迟在10毫秒至100微秒这个区间的交易所定为第一集团。可以看到，最早是一些自动化程度较高的电子交易所，如NASDAQ、BATS、Direct Edge等，率先在2007年左右进入第一集团。其次是传统大型交易所，纽交所、伦交所、德交所、东交所等，通过并购、改造等手段，也紧随其后进入第一集团。再后是港交所、新交所等，通过购买系统、自行改造等手段，宣称将在一两年内达到第一集团的低延迟门槛。面对全球交易所低延迟军备竞赛的局面以及国内基金公司逐步增长的算法交易需要，有着成为全球一流交易所雄心的上证所，需要研究低延迟技术，作为自身的技术储备，以便在未来加入全球市场竞争的时点，能够快速进行技术系统的调整改造。

2 主机低延迟

订单处理时延包括：消息处理延迟（包括编解码、格式转换、消息落地等）、通信延迟（包括消息发送接收消耗、事件通知消耗、消息打包等待消耗）、传输延迟（指物理距离导致的延时）、主机处理延迟等。其中主机订单处理延迟是最核心的延迟，必须从10毫秒数量级降低到1毫秒数量级。

主机订单处理必须满足法律效力约束和时序约束两个前提条件。法律效力约束要求订单确认一旦从交易所发出即标示订单在该时点被接受，成交确认一旦从交易所发出即标示订单在该时点被撮合，其结果具有法律效力不得更改。时序约束要求已被交易所确认接受的订单必须严格按照时间优先原则进行处理，不会由于系统原因使得已接受的订单得不到处理或者以错误的时序进行处理。

目前上证所交易系统采用经典的主备机复制模型来满足这两个约束条件，然而这一模型要求必须将订单处理结果落地到文件之后才能发回响应，从而使得磁盘读写成为制约延迟时间的瓶颈。试验表明，采用逐笔处理策略，延迟很低，但受频繁写盘影响吞吐量无法提高；采用成批处理策略，可以提高吞吐量，但延迟会增加。

为实现低延迟目标，必须采用并行处理模型，不做持久化同时保证事务完整。在这一模型中，订单处理状态不记录在磁盘上，改为记录在并行处理的多台主机上。在发生主机故障时，订单处理状态不通过磁盘恢复，而是通过并行处理的多台主机进行恢复。通过并行多主机记录全局状态，以及在主机故障后恢复全局状态的算法，是这一模型的核心。建议对符合这一要求的算法如PAXOS进行研究，开发原型进行试验。

3 接口低延迟

接口延迟是订单处理延迟和行情发布延迟中的重要一环。在中国证券市场，报盘接口采用先落地到数据库再发送的模式，这一模式产生了200毫秒左右的延迟，行情接口采用先落地成文件再发送的模式，这一模式产生了数秒钟的延迟。为达到低延迟目标，必须将数据库接口和文件接口改为直接转发的消息接口。这一消息接口应当采用由证标委发布的STEP标准。STEP标准与国际通行的FIX标准完全兼容，且包含了诸多国内业务特有内容。

主机托管是国外交易所为市场参与者提供的与低延迟配套的专项服务。按照光速计算物理距离产生的延迟，150公里延迟就达到1毫秒。将安装有算法交易引擎的主机放置于交易所机房中，可以减少由于距离造成的延迟。另一种替代办法是主机邻近，即券商将自己的主机放置在靠近交易所的数据中心内。建议参考国外交易所主机托管方面的成功实践，制定上证所主机托管的技术方案和接口协议。

4 网络低延迟

网络延迟是订单处理延迟和行情发布延迟中的基础要素。目前上证所网络基础设施基于千兆网络，为达到低延迟目标，网络设施必须进行升级。一个选择是万兆以太网，一个选择是InfiniBand。

InfiniBand是一种交换式网络架构，提供服务器间、服务器与存储设备间的高速网络通讯，可以做到高带宽（20 - 40Gb/s）和低延迟（端口间延迟<100纳秒，节点间延迟<1.2微秒），兼容多种通讯协议。InfiniBand使用基于信任的、流控制的机制来确保连接的完整性，数据包极少丢失。InfiniBand是一个统一的互联结构，既可以处理存储I/O、网络I/O，也能够处理进程间通信(IPC)。它可以将磁盘阵列、SANs、LANs、服务器和集群服务器进行互联，也可以连接外部网络（比如WAN、VPN、互联网）。InfiniBand与现存的I/O技术在许多重要的方面都不相同。不像PCI、PCI-X、 IDE/ATA 和 SCSI那样共享总线，因此没有相关的电子限制、仲裁冲突和内存一致性问题。InfiniBand标准支持RDMA(Remote Direct Memory Access)，使得在使用InfiniBand构筑服务器、存储器网络时比万兆以太网以及Fibre Channel具有更高的性能、效率和灵活性。

除网络基础设施升级外，其它减少网络延迟的手段还有：减少交换机跳点、采用专用通讯协议、消除毛刺和丢包等。

消息中间件能够在客户和服务器程序之间提供同步和异步的连接、订阅与分发，并可以对消息进行传送或者存储转发，并可以跟踪事务和进行系统恢复。目前德交所、纳斯达克、纽约交易所、Direct Edge等均采用中间件技术。

5 研究展望

低延迟方面的技术储备对于上证所提升国际竞争力至关重要。主机延迟方面，要求选择适合交易系统需要的模型和算法，并开发原型试验论证。接口延迟方面，要求规划设计基于消息接口的通讯架构，要求制定主机托管的技术方案和接口协议。网络延迟方面，要求对网络设施、通讯协议、消息中间件进行综述和比较。