金融科技招商证券丨基于流式计算的衍生场内交易实时风控设计

Posted 2021-04-02 深圳证券业协会

【编者按】

     为进一步提升深圳证券经营机构金融科技应用能力，总结金融科技的最新成果，展望后续金融科技的发展方向，促进行业金融科技健康发展，助力先行示范区建设，我会将通过金融科技专栏征文活动，对优秀作品进行展示，呈现全景式的深圳辖区证券公司以金融科技立司的途径，供同行借鉴。

摘要

随着金融市场的不断开放，衍生场内交易品种及相关风险管理工具不断丰富。同时市场交易量稳步提升，整体交易延时也逐步降低。在策略交易、算法交易等高频交易逐渐成为机构常见交易模式下，面对瞬息万变的市场行情、微秒级的交易速度、每秒数万笔的并发委托流量冲击下，传统的风控系统在处理能力和计算效率上无法满足需要，给实时风控监测带来困难，迫切需要建立与之匹配的“实时”风控计算能力。

本文提出了一种基于分布式流计算和规则引擎的衍生品交易风控系统设计，能够充分发挥分布式的高吞吐、高并发的特性，同时具有流式计算的低延时特性，希望能有助于证券行业相关风控研究和应用, 为开发者提供相关技术参考。

关键词：实时风控、低时延、流计算Flink、规则引擎

一、背景概述

1.期权市场发展

从2015年上证50ETF期权上市，到2017年豆粕期权敲开商品期权的大门，我国的场内期权市场已步入快速发展的轨道，期货、期权多层立体的风险管理体系正迈向来蓬勃发展的新历程(见图1我国场内期权发展历程)。而随着期权品种的陆续登台，各个板块的风险管理工具也逐步丰富。

截至2020年2月9日，50ETF期权上市五周年，上市运行总计2200个合约。从上海证券交易所2019股票期权市场发展报告来看，2019年50ETF期权市场质量指数平均值为129（100以上代表流动性好、定价效率高），市场质量逐步改善；期权市场风险指数平均值为53（60以下代表风险较小），市场风险较小。市场日均受保市值为178.60亿元，单日受保市值最高达到272.99亿元。

与2019年上半年相比，金融期权市场同期整体的成交规模明显提升，2019年1-6月50ETF期权总计成交量为2.91亿张，2020年1-6月金融期权总计成交量为4.95亿张，成交规模增加70%。同时上半年股指期权交易限额连续两次进行松绑，股指期权成交量略有放大。

由此可见，50ETF期权以及沪深300ETF/指数系列期权已成为金融市场中重要的风险管理工具。

2.高波动率下的国内期权市场

年后金融市场顶着疫情的压力，在2月3日迎来开盘，春节长假期间疫情不断升级的恐慌情绪终于得到释放。而长假方向性风险与极端行情下引发的波动率风险、尾部风险在市场中展露无遗。3月当中国从疫情的深处走出来的时候，世界正向疫情的深处走去。当市场被搅动得天翻地覆的时候，暴跌的原油又加剧了恐慌的情绪。“活久见”的行情轮番上演，投资者的心被日夜牵动。

聚焦到国内的金融期权市场，高波动率已成为短期的常态，且波动率日内变动往往较大。这对买方或卖方而言，交易都变得有些困难，市场急需风险对冲工具。尤其对于卖方而言，疫情所引发的事件驱动随时都可能将波动率再一次拉升, 如何做好风险管理显得尤为重要。而风险也与机会并存。投资者除了利用期权工具为股票或股指头寸进行增值或保护外，近期大幅波动的市场也为投资者进行跨品种波动率套利带来了机会。

3.衍生交易风险管理

按上海交易所和结算登记公司关于股票期权风险管理办法，主要包括了以下两个层面的业务风险管理：

第一  交易部门层面的风控管理，主要包括以下子项：

（1）单个合约、单个标的及总体持仓Greeks计算，根据预设Greeks阀值预警；

（2）波动率曲线的管理；

（3）维持保证金实时监控，对维持保证金比例低于一定区间进行预警；

（4）占用保证金及可用保证金余额日间实时监控；

（5）针对隔夜风险大头针风险的管理；

（6）持仓超限监控:包括某一标的所有合约的权利仓持仓和总持仓；

（7）合约到期监控：对临近到期日的期权合约进行监控；

（8）单笔报单总值、每秒申报单数监控及预警。

第二  公司层面的风控管理，主要包括以下子项：

（1）支持资金、持仓及其他风控指标的监控、预警功能；

（2）支持强平监控：根据中国结算发送的平仓通知书对次日做市商账户平仓情况进行监控；

（3）极端情况预警及处理（错单、超预定额度，或者意外的大单预警及处理）；

4.低时延交易风控的挑战

交易风控类型一般分为事前、事中、事后三种。

事前风控是指在交易指令发送到交易所前，对交易指令进行实时风险检测，通过检测的交易指令则提交到交易执行系统进行报单，未通过检测的将直接予以拒绝。对于追求低延时的交易策略，事前风控需要在极短的时间内完成。

事中风控主要是指在交易过程中，对交易策略的信号生成、执行情况进行控制，以及对策略的风险度进行实时监控。

事后风控更多地是对交易数据在盘后进行分析，比如策略算法是否存在错误、策略的回撤是否可控、策略执行是否有计划之外的情况等，从而制定更严谨的业务风控预案和优化算法调整策略表现。

对于交易策略而言，风控的最佳效果就是事前风控防患于未然，其风控计算决策一般与交易执行系统耦合极高。在保证实时风控计算准确性的同时，还需考虑处理耗时，避免对交易产生影响，错失交易机会。

在策略交易、算法交易等高频交易逐渐成为机构常见交易模式时，面对瞬息万变的市场行情、微秒级的交易速度、每秒数万笔的并发委托峰值，传统的“事前批量计算”、“准实时异步计算”的风险管理系统在处理能力和计算效率上无法满足需要，存在及时性不强、预警处置有效性不足、风控规则扩展耦合强等问题，给实时有效风控监测带来困难，迫切需要建立与之匹配的“实时”风控计算能力。

二、实时风控决策平台设计及实现

理想的事前事中处理模式要在交易策略驱动前、交易算法订单执行过程中，依靠其精准的业务风控规则、智能的风控模型、强大的计算能力，“实时”完成交易与其历史数据关联计算、风控模型指标聚合计算、复杂事件流（成交回报推送、行情合约价格变动等事件，以及后续关联事件）关联计算，最终对当前交易的风险行为进行决策。基于规则和模型监控时，参考的是最新的数据指标，能在发现风险异常的最短时间内触发警报，或根据预案触发风控操作。所以超低延时、超高并发、并行流计算是“实时”风控系统需要攻克的主要难题。

本文提出了一种基于分布式流计算和规则引擎的衍生交易风控系统设计方法（即实时风控决策平台Risk Real-Time Decision,RTD），预期能够充分发挥分布式的高吞吐、高并发特性和流式计算的低延时特性，规则引擎对应风控规则扩展性更好，以解决当前场内衍生交易量不断提升和低时延交易所要求的实时风控决策问题。

实时风控决策平台RTD，具有全内存计算和数据可靠性机制，并拥有流处理/CEP（Complex Event Process，复杂事件处理）的高并发、低时延、持续计算能力。为了达到极致性能的持续实时计算，RTD将大数据运算的多种理论思想糅合在一起，如近数据计算、增量计算、时间序列数据立方体等，同时将硬件能力发挥到极致。（见如图2 系统架构）

本系统有三条数据流向：

实时风控数据流，由红线标识，同步调用，为风控调用的核心链路；

准实时指标数据流，由蓝线标识，异步写入，为实时风控部分准备指标数据；

准实时/离线分析数据流，由绿线标识，异步写入，为风控系统的表现分析提供数据。

1.风控模块

如上架构图，平台模块层次分为：数据订阅转换层、消息中心层、流式风控计算层、指标数据缓存层（原始数据/中间最新数据）、风控决策层、风控管理层、风控分析层。

（1） 数据订阅转换层

用于交易订单请求、成交回报推送、行情合约价格变动、资金划拨等事件，以及后续关联事件的订阅、转化以及作为消息中心层的数据生产者。

（2） 消息中心层

用于各层次及外部系统之间的解耦，以及高并发请求削峰，保障系统高吞吐量。

（3） 流式风控计算层

按规则判断需要大量的相关指标，这些指标通常有一段时间跨度，比如客户过去一段时间或者日内总和的策略报单量、greeks限制，持仓量限额等等，是某种状态或聚合，很难在实时风控过程中根据原始数据进行计算，因为风控的规则引擎往往是无状态的，不会记录前面的结果。同时，这部分原始数据量很大，因为交易相关的原始数据都要传过来进行计算，所以这部分往往由一个流式大数据系统来完成。

在这里我们选择 Flink，作为第四代当今最火热的流式计算引擎，FlinkFlink以其卓越的实时性能、高度可信的正确性等特性，能很好地完成实时计算工作。

（4） 指标计算数据缓存层

流计算框架Flink通过订阅kafka 中的业务数据、事件数据等准实时指标数据流，进行风控计算后将聚合、中间结果发到指标数据缓存层进行缓存，为实时风控决策查询准备指标数据。

（5） 风控决策层

风控系统的核心就是规则引擎，一个好的规则引擎既要保证服务的稳定又要不失灵活性。规则引擎选择采用Groovy动态脚本，支持规则的动态更新，以及对业务风控模型进行抽象可大大提升效率。目前抽象出了策略、规则和指标关系如下图3所示：

基于规则和模型决策判断时，参考的是最新的数据指标，能在发现风险异常的最短时间内触发警报，或根据预案触发风控操作。

（1） 风控管理层

规则往往由人编写并且需要动态调整，所以平台把风控决策部分与规则管理部分拆开。规则管理后台为运营服务，由运营人员去进行相关操作，包括规则指标管理、阀值管理、监控处置以及相关报告输出。

（2） 风控分析层

前面的模块静态来看是一个完整的风控系统了，从动态的角度来看一个风控系统的话，至少还需要两部分，一是衡量系统的整体效果，一是为系统提供规则/逻辑升级的依据，逐步形成数据驱动风险策略的反馈闭环设定。

2.设计要点

第一  持续并行计算

为了达到极致性能的持续实时计算，RTD将大数据运算的多种理论思想糅合在一起，如近数据计算、增量计算、时间序列数据立方体等。

（1） 近数据计算

RTD采用先进的编译技术，将计算逻辑下发在数据块上，配合数据建模和路由分发技术，实现所有的数据在本地内存计算，消除节点/进程间通信。同时编译技术还将多个同分区数据上的计算逻辑编译在一起，减少调用次数，来节省调度层和数据计算层的网络开销。

（2）增量计算

交易事件是流动且有先后次序的、也就是时序数据，这类数据有两种比较耗时的计算，一种是聚合操作（sum、count、average，如方向持仓限制等），一类是多个事件发生模式，如A事件发生多久后发生B事件（如策略报单量最大单量预警后，需要紧急制动）。解决这种问题是流处理/CEP的优势，反而是数据库的劣势，RTD在数据库的上层增加了流处理实现了数据的增量计算，同时兼有数据库的数据可靠性。面对每日千万次的交易流水，全量计算比较滞后，而增量计算在数据时效性和正确性之间取得了平衡。基于规则和模型监控时，参考的是最新的数据指标。

（3） 时间数据立方体

RTD基于OLAP(Online Analytical Processing)数据立方体理论，将时间序列数据立方体引入实时决策领域中，时间序列数据立方体包括数据维度、计算指标、时间三个维度。数据维度可以是当前股东或者资金号、席位等小维度，也可以是所有客户、机构分支、业务节点等大维度。计算指标分别为数值型、离散型以及比率型等数据类型之上的最大、最小、方差、标准差等规则统计指标，以满足风控模型的决策计算需求。

精确到秒的多叉树数据结构，能够快速的查询日内任意时间窗口的计算指标。比如当前客户过去一段时间或者日内总和的策略报单量、成交笔数限额、持仓量限额、资金限额、greeks限制、方向持仓限制等指标，展开并行计算和事件分析。有了数据立方体，对当前交易的风险实时决策和客户交易风险信息的监测变得很容易，真正做到全方位立体监控。

第二   高并发和低时延

（1）通过把数据计算和规则判断拆分开来并引入 Flink流计算层，RTD系统可以应对极大的交易数据实时计算；

（2）全内存计算，所有计算全部在内存完成；

（3）零拷贝，文件映射直接使用内核态的内存空间，避免了数据的多次复制；

（4）通过数据分块实现分布式和并发，无锁设计，实现极致性能。

第三  数据可靠性

为了可靠性必须做持久化，仅写数据的日志；数据顺序写入磁盘文件，减少硬盘磁头的寻道时间。为了可用性实现数据副本，降低了写性能，但多副本带来读性能的倍增。

三、展望及演进

“大数据+人工智能机器学习”是未来实时风控的突破口。大数据、人工智能、视觉识别比对、深度学习计算等大量的计算技术，在将来都可能被运用到实时风控场景之中。

RTD深化业务规则风控计算能力的同时，考虑引入机器学习在风控场景中的落地。如考虑风控多特征模型实时计算引擎，尽可能地收集聚合客户交易风险的相关特征维度，预期支持千万维超大模型毫秒级的推理预测。RTD将与外部合作伙伴展开积极合作，共同全力以赴推动人工智能在实时风控领域的发展。

扫描二维码