从Tushare获取历史行情数据

Posted whitebear

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从Tushare获取历史行情数据相关的知识,希望对你有一定的参考价值。

从Tushare获取历史行情数据,分为两种,一种是后复权(daily_hfq)数据,一种是不复权(daily)数据,获取到的数据存储在MongoDB数据库中,每个集合(collection)中,数据字段包含如下:

技术图片

抓取指数历史行情

流程图如下

技术图片


首先准备好数据库的连接,可查看python对MongoDB数据库的操作,这里在database文件中创建了对MongoDB数据的连接及指定存储的数据库
datebase.py文件

from pymongo import MongoClient

#指定数据库的连接,quant_01是数据库名
DB_CONN = MongoClient(‘mongodb://127.0.0.1:27017‘)[‘quant_01‘]


在daily_crawler.py文件中完成初始化、数据的获取、储存等操作。

import tushare as ts 
from database import DB_CONN
from datetime import datetime
from pymongo import UpdateOne

class DailyCrawler:
    def __init__(self):
        #创建daily数据集(集合)
        self.daily = DB_CONN[‘daily‘]
        #创建daily_hfq数据集(集合)
        self.daily_hfq = DB_CONN[‘daily_hfq‘]

获取指数历史行情数据(index= true)

def crawl_index(self,begin_date = None,end_date=None):
        """
        抓取指数的日k数据
        指数行情的主要作用:
        1、用来生成交易日历
        2、回测时作为收益的对比基准
        :param begin_date:开始日期
        :param end_date:结束日期
        """
        #指定抓取的指数列表,可以增加和改变列表中的值
        index_codes = [‘000001‘,‘000300‘,‘399001‘,‘399006‘,‘399006‘]
        #当前日期
        now = datetime.now().strftime(‘%Y-%m-%d‘)
        #如果没有指定开始日期,则默认当前日期
        if begin_date is None:
            begin_date = now
        #如果没有指定结束日期,则默认当前日期
        if end_date is None:
            end_date = now
        #按指数的代码循环,抓取所有指数信息
        for code in index_codes:
            #抓取一个指数在一个时间区间的数据
            df_daily = ts.get_k_data(code,index=True,start=begin_date,end=end_date)
            #保存数据
            self.save_data(code,df_daily,self.daily,{‘index‘:True})

获取股票历史数据(index=False)

流程图如下:

技术图片

获取所有股票行情数据
调用tushare中get_stock_basics()获取所有股票的基本信息,然后将基本信息的索引列表转化为股票代码列表,就得到了所有股票代码
再调用get_k_data()获取不复权、后复权历史价格数据

def crawl(self,begin_date=None,end_date=None):
        ‘‘‘
        抓取股票的日k数据,主要包括不复权和后复权两种
        :param begin_date:开始日期
        :param end_date:结束日期
        ‘‘‘
        #通过tushare的基本信息API,获取股票的基本信息
        stock_df = ts.get_stock_basics()
        #将基本信息的索引列表转换为股票代码列表
        codes = list(stock_df.index)

        #当前日期
        now = datetime.now().strftime("%Y-%M-%D")

        #如果没有指定开始/结束日期,则默认为当前日期
        if begin_date is None:
            begin_date = now
        if end_date is None:
            end_date = now
        
        for code in codes:
            #不复权价格
            df_daily = ts.get_k_data(code,start=begin_date,end=end_date,autype=None)
            self.save_data(code,df_daily,self.daily,{‘index‘:False})
            #后复权价格
            df_daily_hfq = ts.get_k_data(code,start=begin_date,end=end_date,autype=‘hfq‘)
            self.save_data(code,df_daily_hfq,self.daily_hfq,{‘index‘:False})

这里曾经很好奇,为何(color{purple}{stock_df.index})就可以获得股票代码呢?
在get_stock_basics()实现源码中,作者将(color{purple}{code})设为了index,因此该语句才能有效的获取股票代码

技术图片

保存数据

流程图:

技术图片

随着数据量的增加,写入速度会变慢,因此需要创建索引,这里对code、date、index三个字段加上索引
创建索引的命令式如下:

db.daily.createIndex({‘code‘:1,‘date‘:1,‘index‘:1})

可通过db.daily.getIndexes()查看索引

技术图片

保存数据代码:

def save_data(self,code,df_daily,collection,extra_fields =None):
        ‘‘‘
        将从网上抓取的数据保存在本地MongoDB中
        :param code:股票代码
        :param df_daily:包含日线数据的DataFrame
        :param collection:储存的数据集
        :param extra_fields:除k线数据中保存的字段,需要额外保存的字段
        ‘‘‘
        #数据更新的请求列表
        update_requests = []

        #将DataFrame中的行情数据,生成更新数据的请求
        for df_index in df_daily.index:
            #将DataFrame中的一行数据转换成dict类型:
            doc = dict(df_daily.loc[df_index])
            #设置股票代码
            doc[‘code‘] = code

            #如果指定了其他字段,则更行dict
            if extra_fields is not None:
                doc.update(extra_fields)
            
            #生成一条数据库的更新请求
            #注意:
            #需要在code、date、index三个字段上增加索引,否则随着数据量的增加,写入速度会变慢
            #创建索引的命令式:
            #db.daily.createIndex({‘code‘:1,‘date‘:1,‘index‘:1})
            update_requests.append(
                UpdateOne(
                    {‘code‘:doc[‘code‘],‘date‘:doc[‘date‘],‘index‘:doc[‘index‘]},
                    {‘$set‘:doc},
                    upsert = True
                )
            )
            #如果写入的请求列表不为空,则都保存在数据库中
            if len(update_requests)>0:
                #批量写入到数据库中,批量写入可以降低网络IO,提高速度
                update_result = collection.bulk_write(update_requests,ordered=False)
                print(‘保存日线数据,代码:%s ,插入:%4d 条,更新:%4d 条‘%(code,update_result.upserted_count,update_result.modified_count),flush=True)

程序入口

if __name__ == "__main__":
    dc = DailyCrawler()
    dc.crawl_index(‘2015-01-01‘, ‘2015-01-06‘)
    dc.crawl(‘2015-01-01‘, ‘2015-01-06‘)

运行效果:

技术图片

查看有多少条数据:

技术图片

以上是关于从Tushare获取历史行情数据的主要内容,如果未能解决你的问题,请参考以下文章

如何从tushare中调取十大股东数据?

数据分析---使用Tushare对股票分析

量化学习 | Tushare和Backtrader初探

python调用tushare获取A股周线行情

使用tushare获取股票历史数据和实时分笔数据

数据分析之DataFrame基础操作巩固-股票分析