今日指数项目之数据实时业务开发(需求说明)
Posted Maynor学长
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了今日指数项目之数据实时业务开发(需求说明)相关的知识,希望对你有一定的参考价值。
实时计算业务流程
需求说明
实时计算业务总体分三大块,具体是:个股行情业务、指数行情业务、板块行情业务。
总体数据流程
分时、秒级
在这里插入图片描述
K线
数据存储规模
秒级行情(Hbase):存储5日内秒级行情,数据量为2.88亿条
分时行情(Druid):存储半年内分时行情数据,数据量为8.64亿条;
历史数据(Hive数仓):以沪深市场2万只证券,存储时间按1年统计:
秒级行情: 210亿条以上
分时行情: 20亿条以上
K线: 1500万条以上
日数据采集总量统计 :
20000(只)* 3600(秒)*4(小时)= 2.88(亿)≈ 85(GB)
以上是关于今日指数项目之数据实时业务开发(需求说明)的主要内容,如果未能解决你的问题,请参考以下文章