银行海量交易数据是怎么存储的？

Posted 2023-03-22

一般来说，银行的数据都是结构化的、持久性存储的（非结构化的数据一般指电子影像，如客户办理业务的回单扫描图片等），以数据库以及文件方式存储为主。按照交易数据性质，我们可以分为“原始流水数据”和“加工后数据”两种。“原始流水数据”一般最开始生成于交易处理的应用程序（这些应用可以理解为前线部队）处理交易的过程，几乎记录了交易的所有内容：交易日期、交易时间、卡号、账号、地区号、网点号、地点、终端号、柜员编号、交易凭证（如Transaction Certification）、交易渠道等等等等乱七八糟你想得到想不到的字段。曾经见过一张表，多达数百个字段，一条记录长度多达数千字节。这类数据的特点是，信息全面，占用空间大。“加工后数据”产生于“原始流水数据”，一般情况下，“前线部队”会把“原始流水数据”提供给其他应用程序（可以理解为后勤部队），“后勤部队”会根据自身应用的需求将数据进行裁剪而不是照单全收。简单举个例子，假设用户拿到的信用卡对账单是由一个叫做“客户账单”（Customer Statement，下面简称CS）的应用生成。CS会根据业界的标准从交易流水中获取仅需的数据，比如交易日期，商户名称、卡号、交易币种、交易金额等。其他并不需要的数据就会被舍弃，这样也就保证了数据存储的经济性。

参考技术A

海量数据时代正在来临。数据信息量如潮水般迅猛增长，根据分析机构IDC最新研究结果，2011年全球数据量突破了1.8ZB，在5年时间年迅速增长9倍，受管理的数据量更是增加50倍之多。英特尔的IO加速解决方案中的一个关键特性——存储I/O加速采用了基于硬件的加速功能，让来自于以及传输到应用的数据速度更快。这包括增加RAID 6技术在数据传输过程中进行纠错。不仅确保了更快速的数据传输，同时避免数据在磁盘和磁盘存储系统中传输时发生丢失或者篡改。字节奇偶校验被用来保证数据通过存储子系统时的完整性。数据的奇偶校验被写入到磁盘驱动器，防止在多个硬盘发生故障时丢失数据，或者重建过程中有坏数据块。这增加了系统的可用性和可靠性，缩短了备份窗口，加快磁盘重建以及数据的保护。