百信银行金融技术革新第一枪，aiStream流式计算平台助力业务加速

Posted 2021-04-24 春华财经

背景介绍

 aiStream悄然诞生

百信银行的开业是 “2017年中国银行业十件大事”之一，作为人工智能时代下互联网银行的代表，百信银行坚持智能普惠的定位，利用人工智能等技术，开启了“金融+互联网+人工智能”的新金融发展模式。在新时代下，“直面客户+快速响应”的互联网特征，“分布式+去IOE”的全新系统架构对银行IT建设提出了极大的挑战：如何准确感知客户当前需求？如何解决风控授信等业务场景实时性不足的困难？如何快速解决分布式账务异常，定位问题？如何解决传统银行批量方式数据实时性差……这一系列问题对数据提出很高的数量、速度要求，还要兼顾金融交易的复杂性和实时性要求，而解决这些问题的答案正是流式大数据处理技术。

百信银行积极探索人工智能和大数据技术在金融场景的应用，百信银行信息技术部顺势而为，自主研发，创新推出了基于开源JStorm技术的百信银行流式计算平台aiStream，并在消费信贷风险监控项目快速落地，为全行第一款产品保驾护航。由此，流式计算平台项目成功入选了百信银行业务创新管理委员会“蒲公英计划”，后续将在不同的领域进行深度应用，助力全行业务加速。

什么是流式计算

数据连续产生，并被实时采集和计算

数据往往随着时间推进连续产生，比如客户用手机APP用户购买理财，从开户绑卡-理财产品选购-付款确认等一系列点击操作，会产生一连串的后台数据，这背后生成的数据都是连续产生的。连续产生的业务数据，又被实时采集起来，就形成了数据流。流式数据一经采集，就可以立即参与计算，同时将计算结果投入到业务分析应用中，这就是实时计算。

分布式实时流式计算面临很多挑战：数据从“采集-计算-输出”全过程需要保证低延迟，除计算节点本身可采用“增量计算”模型，上游数据传输模块也应具有高吞吐能力和数据缓存能力，以便在大流量场景下起缓冲作用，下游输出模块也需要做数据压缩、批量输出等优化，确保输出结果的实时性；此外分布式系统单点故障时有发生，实时流计算系统必须有强故障恢复能力，当故障发生时，系统快速恢复，避免出现系统输出更新停滞，无法保障实时性。

百信银行流式计算平台aiStream完全自主开发，设计中充分考虑了分布式实时流式计算的难点，采用了主流的计算框架，基于分布式内存并行计算，解决离线大数据和近线大数据实时融合处理等技术难题。支持海量数据高性能分析，同时引入了一系列创新技术，在可靠性、一致性、可用性、可扩展性等多层面提升了开源流处理平台的处理能力。

流式计算平台的应用领域

百搭的应用加速器，广泛适用性

百信银行流式计算平台aiStream以解决行业痛点为出发点，从银行当前迫切需要解决的实时风控、去批量等问题出发，通过灵活的架构设计与规划， 构建安全、稳定、可靠的基础平台，满足SaaS层差异化和多样性的定制化需求。流式计算平台提供如下两项核心服务：

• 实时数据总线

实时处理增量数据，提供不同数据源到目标存储介质的数据管道，支持源与目标之间单对单，单对多，多对单，多对多的关联，支持数据管道的扩展与合并。整个系统具有功能扩展性和银行级要求的容错性。

百信银行流式计算平台aiStream目前已将18种数据源，23种目标输出列入支持计划，包括常见的关系/非关系数据库、消息中间件、多种文件存储及各类系统间接口等，未来还会不断增加支持的内容。

• 实时数据计算

利用流计算引擎的实时计算特性，对数据管道中流转的数据进行实时加工与计算，并将结果返回到预先规划目标介质（如数据库、内存、文件或者其他存储介质）中。

百信银行流式计算平台aiStream支持拆分、合并、缺失值填充、类型转换等15种预处理模式及特征过滤、特征离散、特征尺度变换等15种特征工程处理能力，平台将这些能力封装成基础组件，提供通用接口，支持业务模块低成本快速接入，根据业务需求灵活组合使用和业务集成，实现“数据驱动业务”。

作为通用基础平台，百信银行流式计算平台aiStream能够对海量数据进行实时计算处理，广泛适用于金融银行、互联网领域，能够为个性化数据需求，提供“海量、精准、实时”的个性化数据服务。系统服务领域涵盖覆盖客户营销、风险管理、营运管理、运维管理等。

流式计算平台的未来展望

打造实时数据服务生态

流式计算作为百搭数据加速器，具有加快数据流转、提高数据价值的普适性。未来将会有越来越多的实时计算场景，除了文本计算实时化，图像、语音计算也可以实时化，在线机器学习等。实时数据以及实时流计算场景的类型都是指数增长的，实时计算引擎要求也会越来越高。

同时，作为源自百信银行的技术平台，aiStream首先应用的领域就是对数据准确性和数据价值有着最高敏感性的金融领域尤其是银行业，对于系统的高可用和容错性在一开始就是以最高标准来要求的。同时整个系统的建设规划也必须建立在对于金融领域交易场景和数据分析需求的深入理解上，才能保证系统对百信内部以及未来对外部业务需求的高效接入。诞生于百信银行的aiStream平台，在技术和业务结合上，有着先天的优势。

百信银行流式计算平台aiStream将继续加大技术研发投入，并与开源社区更加密切的合作，突进流式计算的发展，致力于打造一流的流式计算平台。一方面，内部创新，支持消费信贷、理财等各事业部的主航道业务，利用实时数据服务能力，提升业务的核心竞争力：继续扩大计算规模，推出内部统一实时计算服务框架，针对实时处理海量数据，提供在线统计、学习和预测能力；另一方面通过云服务向外界输出实时计算能力，让更多中小金融企业和用户享受到百信银行实时计算的技术成果。

完

往期精彩回顾