场景20亿分钟K线数据的更新及查找
1，了解数据使用情况
这些k线数据用于回测，而对于分钟k线回测：
- 大部分回测周期在近几个月或近几年
- 热门股票几多沪深300、上证50等
- 分钟回测需要一定的实时性既在开盘时间进行回测，需要最近的数据
- 数据增量每日几百MB
※初始热数据的划分需要对业务进行深入了解
※后续热数据的精确划分还是要查看历史查询的记录
统计来源：程序中添加的数据操作log；数据库审计；数据库中间件
2，根据数据使用频率进行拆分
我将数据划分4个层级：
1，热数据：热门股票的近N个月的数据及最近数据
2，较热数据近3年K线数据
3，使用频率较低的K线数据（06-08 14-15 遇到大行情时期）
4，几乎没人使用的数据（06年以前）
※根据热度使用3种不同的存储方式（时间段划分）：
- 热度数据-redis；
- 较热数据-mysql or mongo；
- 频率低及冷数据-bcolz文件（频率低的单独建立文件）
每日夜间进行更新：将过时的部分热数据从redis中写入数据库
每周进行更新：将数据库过时的数据存入bcolz文件中（bcolz有非常不错的压缩率和速度）
※建议程序中单独书写一个数据中间件，以便后续架构演化时独立更改
3，数据库架构演变
1，针对于量化回测，主要的瓶颈在于读数据（每日读的数据远远大于写的数据）
2，对于系统日后增长的使用量，我们将划分的数据分配独立的服务器
※redis集群，数据库集群，文件服务器
以上都是用中间件进行访问控制
3，数据库的读瓶颈的演变
-
- 数据库瓶颈：一张表存海量数据（解决办法：分表）
- 服务器瓶颈：查询需求大于磁盘的io性能或负载能力（解决办法：分库）
※综上所述我们将数据库中的热门股票平均划分到N个库中，并再进行分表
※分表规则：例如轮动策略就是某些股票会在一个策略中同时出现，因此可以放入一张表中
4，读写数据量都大的数据表方案
- 在大型的应用中必然存在每日更新频繁和查询频繁的数据表
- mysql的解决方案：
方法：进行分库分表，加读写分离
好处：可根据自身的数据使用情况来定义中间件来控制资源访问，从而实现资源的最大化利用
缺点：此方案建立于开发者对现有业务和数据使用非常了解的情况下，另外如果日后业务发生变化，变更成本较大(表结构，数据迁移，中间件变更)
-
- ES+mongo解决方案：
方法：使用mongo自带的分片功能，且只建立主键索引_id优化写性能；通过ES查询得到_id后再查询数据
好处：对于日后业务的拓展变更成本低(非结构化数据)；ES对海量数据查询效率高
缺点：额外的存储，ES索引字段变更