5.数据库存储(LEVELI&II)的优缺点

Posted 2020-11-28 artmouse

原文链接：http://sqlhis.com/index.php/2020/05/14/5-数据库存储leveliii的优缺点/

从前面的讨论来看，除了实时策略数据一定不落地外，对于需要将历史数据落地的情况。实际上有两个选择。（注：其实还有第三种选择，提供一个高频数据的计算平台，这种编程量就很大的，是个大工 程。）

1.文件存储，然后搞一套API接口读取数据，当然这个数据供应商会帮你做好。但是无论如何进行策略回测的时候，研究人员需要自己编写一套程序；又或者研究人员没有这个能力，就需要加上一个专门的程序员来完成研究人员的想法，其中的沟通成本非常高。

2.将历史数据放到数据库中进行存储，这也是我比较推崇的方式。之前的项目曾使用SQL SERVER存储Level2数据。那用数据库存储到底有什么优缺点以及难点呢？

先谈谈数据库存储的缺点：

.磁盘占用空间大。

这点是不容置疑的，虽然数据库都有压缩功能，可以提高空间利用率。但使用的是通用压缩方法，由于定制文件压缩可以根据数据特征有针对性的压缩，所以在大家都做到极致的情况下，数据库存储占用的空间一定比定制文件存储要大。需要解释什么是做到极致，计算机语言速度大致是“C++”>”C#”,但是一个顶级C#程序员写出的程序性能会强于一个菜鸟C++程序员，我这里“极致”的意思是大家的技术水平都非常高。

在做到极致的情况下，和文件存储比较，数据库存储沪深LEVEL2的单日存储应该可以控制在3G以内，按年算的话，可以控制在1T以内，买个20T的磁盘，数据可以存20年了。

所以，磁盘空间占用虽然大，但是还是可以接受的。

再谈谈优点：

.编程复杂度降低了，开发效率提高

都说关系型数据库入门容易精通难，但是对于策略研究人员来说，在数据库里面进行分析，比采用API读取文件要简单的多，直接采用SELECT语句就可以开始干活了，或者需要将数据导入到其他软件中，数据库接口是开放接口，只要有数据库驱动即可。如果是专用的API接口，使用起来会复杂很多。

再谈谈中性特点：

.计算性能

很难武断的说关系数据库是快还是慢，这取决于进行何种计算，但是可以确认的是，关系型数据库有数据缓冲，如果进行一个小区间计算的话，配上64G以上的内存，数据可以全部放到缓冲里面，性能是足够强大的。

总之，笔者认为，在语句写的没问题的情况下，速度是足够快的。

.除了计算性能，通常比较担心的是插入性能

LELVEL2数据那么大，数据库的写入会不会成为瓶颈？其实数据库的写入能力远比我们想象中强大，其实写入能力最关键的是网络和磁盘，在千兆网下，传输性能大概是100M字节每秒，一般磁盘阵列的写入能力可以达到400M字节每秒。数据库的写入能力也就被这两个指标限制住了，只要设计良好，数据库是可以以50M字节每秒的速度写入的，写入3G数据按理论算，仅仅需要60秒。

在笔者之前的项目中，是将文件存储的数据通过API取出来，存到数据库中，而数据库的插入并不是瓶颈，通过API读取文件才是瓶颈。