利用rqalpha完成一个股指期货的回测 分钟数据获取和转换

Posted 2021-02-21 永远的麦田

前面已经可以简单的跑起来了，只不过是日线级的股票，我们最终目标是5分钟级的期货

由于平台不支持5分钟数据，因此这些数据需要我们手动解决，分两块，一块是历史数据的获取，一块是实时数据的采集。先搞定历史数据。

目前看通达信的数据还算是比较靠谱的。股指期货主要有IF,IC,IH三个，以IF为例，由于通常我们要的数据比较多一点，通常是1年以上而非1个月，因此用主连IFL8

一、获取数据：

点击下载即可，

然后利用通达信的导出功能：

 然后打开数据看一下：

 

考虑到后期各种处理，因此最好还是将这些数据存于数据库中，存好后形如：

 

二、转换数据

顺便说一下，通达信上的数据IFL8是完全按照各主力合约拼接而成，通过下载期货合约的实时行情数据进行合并成5分钟数据，然后与主力合约K线的开高低收量及持仓进行对比，基本上没有什么误差。

当然，之前的历史数据从通达信上获取，后面的数据以及动态生成的历史有能力的还是从实时行情生成为好。毕竟股指期货一个点就是200或300块，随便搞一手就是几万的盈亏，数据还是用自己的安心点。

由于rqalpha没有提供分钟级数据，因此我们要将获取的数据转成rqalpha识别的数据ndarray

先看ndarray的数据类型：

dtype = np.dtype([(\'date\', \'<u4\'), (\'time\', \'<u4\'), (\'open\', \'<u4\'),
                          (\'close\', \'<u4\'), (\'high\', \'<u4\'), (\'low\', \'<u4\'),
                          (\'limit_up\', \'<u4\'), (\'limit_down\', \'<u4\'), (\'basis_spread\', \'<i4\'),
                          (\'open_interest\', \'<u4\'), (\'volume\', \'<u4\'), (\'total_turnover\', \'<u8\'),
                          (\'trade_date\', \'<u4\')])

 

这里需要注意的是，open,high,low,close这四个值在rqalpha都是扩大了10000倍的，因此，这儿转换时需要先乘上10000

然后将之存于一个list中

values.append((ft.date, ft.time, ft.open, ft.close, ft.high, ft.low,
                                   0, 0, 0, 0, ft.volume, 0, ft.date))

最后将之转成ndarray类型数据：

result = np.array(values, dtype=dtype)

 

rqalpha的数据存成bcolz格式，我们依照着存，由于是5分钟，我们取名为：

futures_5mb.bcolz和futures_5mb_index.bcolz

其中5mb.bcolz存储的为真正的数据，index.bcolz为按天存储的数据索引。

存储时按每支票存成一个result,然后通过代码 arr = DataFrame(result, columns=fields) 将之转换成DataFrame存成bcolz格式数据。

接着存储索引futures_5mb_index.bcolz, 这个数据中存两个量，line_map表示每支票存了多少天的数据， mb_index_list表示存的各支票每一天的数据是从哪儿存到哪儿。

这儿有一个函数比较重要：calc_mb_indexs，计算每一天的数据具体存在表的哪些区域：

def calc_mb_indexs(cls, date_dict, mb_index_list, base_index):
        s, e = base_index, base_index
        for date in date_dict.keys():
            e += date_dict[date]
            mb_index_list.append([date, s, e])
            s = e
        return e

如果存的是第0个品种数据，base_index为0，否则把前面的base_index计算出来作为当前品种的初始值，比如后面列举的IF88的初始值为：808*48=38784,IF2005的初始值为1616*48=77568

举例如下：

mb_index_list转成DateFrame图：

index_df = pd.DataFrame(data=mb_index_list, columns=[\'date\', \'start_at\', \'end_at\'])

line_map数据：

这样就清楚了，IFL8存了808天数据，每天数据存了48条（1天交易时间4小时即240分钟，我们存的为5分钟数据，即240/5=48），一共存了808*48=38784条数据

下面是futures_5mb存储表示：