资讯厂商如何转发和存储高频行情数据(LEVELI&II)?

Posted artmouse

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了资讯厂商如何转发和存储高频行情数据(LEVELI&II)?相关的知识,希望对你有一定的参考价值。

原文链接http://sqlhis.com/index.php/2020/05/13/资讯厂商如何转发和存储高频行情数据leveliii?

券商和基金公司都有LEVEL1数据的接口,如果不需要将历史行情存储下来的话,自己开发一个行情接收程序是不难的,这些公司购买的交易系统,本身就带有接入行情的功能。

但是如果需要将历史数据存储下来,通常需要借助于资讯产商,理论上自己写个程序存也是可以的,问题的难点在于如果行情出现中断,数据丢了就没有地方可以补,所以一般来说,只要需要用到历史的交易数据,通常会找资讯产商购买一套软件。特别是LEVEL2,没有资讯产商似乎不太可能.

每个资讯产商落地行情的方式不太一样,笔者接触过三家,第一家是笔者实际实施的,后面两家都只是了解。

第一家是比较老牌的产商,后来被一家大牌的产商收购了。其LEVEL2行情分为实时和历史,提供一个接口访问数据,数据的压缩率很高,LEVEL2数据一天1个G就存下来了。

优点:数据压缩率高

缺点:使用不方便,对于笔者这种程序员来说都感觉麻烦,更不用说那些需要进行数据分析的研究员了,门槛太高。

注:当时接入的时候,花了几个月给这家找各种问题,数据准确性问题很多,由此可以退出其实国内真正使用LEVEL2数据的公司其实不多。

第二家比较弱,做学校项目比较多,使用的时候只用了LEVEL1的数据,每天打包一个文件,只提供历史数据,通过FTP方式访问。

第三家也做了一个接收发送程序,从他们的服务器上取数据,数据存在数据库里面,好几种数据库都可以。

优点:存关系数据库里面使用方便一些

缺点:数据库设计太差,表设计及其不合理,占用空间极大。

所以就笔者理解,要不然就是采用文件形式高压缩,要不然就是采用数据库方式占用空间很大。

说下文件的高压缩方式,文件的高压缩方式一定能比数据库省空间,但是文件的压缩绝对不是说生成一个二进制文件,然后拿zip或者rar压缩一把就可以了,这还是达不到高压缩的效果。以第一家为例,压缩模式类似于这样:

假设行情如下:

技术图片

则存储为:

技术图片

在数据库存储中,每行占用的空间都是一致的,在这种根据数据自定义的存储中,由于我们知道数据的规律,所以可以定制化的存储减少容量,例如我们这里就是采用增量存储。这当然可以大大的节省空间。

以上是关于资讯厂商如何转发和存储高频行情数据(LEVELI&II)?的主要内容,如果未能解决你的问题,请参考以下文章

高频行情数据(LEVELI&II)的交易所发布方式

高频行情数据(LEVELI&II)的交易所发布方式

高频行情数据(LEVELI&II)有什么用途?

高频行情数据(LEVELI&II)有什么用途?

5.数据库存储(LEVELI&II)的优缺点

什么是高频行情数据(LEVEL1&2)?