适合上班族的量化炒股场景——来自量化机器人的实时行情盯盘服务

Posted 2021-10-21 元宵大师

前言

不少上班族的股友在和我交流时提到，因为平时上班的原因总是错过最佳的买卖点，十分无奈！

其实量化交易可以完美解决这个问题。于是我们提供了一个适合上班族盯盘的应用场景：让远程的量化机器人帮助我们盯盘，当实盘行情到达我们设定的目标时，通过QQ邮箱、微信或者钉钉等即时聊天工具通知我们。

虽然目前券商的APP上面也有提醒功能，但是种类比较单一和固定，当我们的触发逻辑比较复杂或者个性化的时候就无法满足了，所以投资交易领域需要一点特立独行，少一点从众随大流。

总体来说实现这个场景需要以下几部分功能：

• 多线程实时行情的获取

• 目标触发条件的判断

• 邮箱发送消息（我在微信上开启QQ邮箱提醒功能，效果如同微信提醒）

实时行情数据特征

实时行情数据对短线量化交易者来说非常重要，涉及到买卖点的选择。

本主题提及的A股实时行情数据获取，是类似于Level1级别的更新，最快可以达到每间隔3秒以爬虫的方式从财经网站上实时采样获取到的。

注：代码的SCAN_TIME变量可以配置实时数据更新的周期。

如下图所示，数据类型有“最新价”、 “最高”（当前）、 “最低”（当前）、 “涨跌幅”（当前）、 “成交量（当天累加）”、 “成交额（当天累加）”、 “换手率”、 “市盈率”，然后我们增加一列“当前时间”，表示获取实时数据的时间。因为这些数据在财经网站上是实时更新的，所以有必要增加这一列。

---

我们获取数据的交易时段是9:29至11.31，12:59至15:01，每间隔3秒获取一次数据，并且以csv文件格式存储。

多线程爬虫技术

接下来我们重点介绍下多线程爬虫技术的实现。

我们看到网页上显示总共有232页，通常大家是用for...in循环的方式爬取的。

但是面对几千只股票的行情数据时，下载过程势必会出现耗时过长的情况，从而导致超过3秒间隔的采样精度。

我在书中《Python股票量化交易从入门到实践》介绍了多进程和多线程的提速方案。

当涉及复杂的计算、繁多的 I/O 操作时，可以考虑使用多任务并行方式充分利用CPU多核性能来提高程序的执行效率。

在Python中由于GIL机制的的存在，多进行和多线程在计算密集型和I/O密集型的任务场景中执行效率会有所不同，多线程更适合 I/O 密集型应用，多进程对于 CPU 密集型的应用表现更好。

书中的例程，分别对比介绍了for循环方式、多线程方式和多进程方式。遍历获取股票池中前500只股票的1年的数据，测试的结果是：

• for循环：55秒

• 8个线程：7.5秒

• 8个进程：7.8秒

可见，当我们获取A股几千只股票，过去几年甚至十几年数据的时候，如果以调用API接口方式，用for循环去获取股票数据，耗时非常严重。

那么，对于爬虫来说，它适合多线程还是多进程呢？

爬虫是基于网络请求模块urllib实现的。urllib3扮演了 HTTP 客户端的角色，即向网络服务器发送一个 HTTP 请求，然后等待网络服务器的响应，这类任务属于 I/O 密集型的任务。不同于计算密集型任务那样会在整个时间片内始终消耗 CPU 的资源，I/O 密集型的任务大部分时间都在等待 I/O 操作的完成。

接下来我们就以爬虫方式获取财经网站股票每日实时行情数据为场景，扩展介绍下多线程的提速方案。

关于爬虫的实现过程可参考知识星球以下主题：

那么我们可以将该任务分配给多个线程来完成，而不只是让一个线程去逐一读取。

在 Python3 中内置了线程池模块 ThreadPoolExecutor，通过 ThreadPoolExecutor模块来实现多线程的处理。

对于爬虫任务来说，每一页仅仅是URL地址不同。因此按模块的使用要求，将爬虫任务crawer_daily()函数拆分为执行函数map_fun( )和可迭代参数 itr_arg 两部分。

关键代码如下所示：

with ThreadPoolExecutor(max_workers=8) as executor:
    # map_fun 传入的要执行的map函数
    # itr_argn 可迭代的参数
    # result  返回的结果是一个生成器
    results = executor.map(crawer_daily, itr_arg)

每一页只有20只股票的数据，因此我们需要把数据合并成一份DataFrame，最后保存为本地的csv文件。

关键代码如下所示：

for ret in results:
    df_daily_stock = df_daily_stock.append(ret, ignore_index=True)
df_daily_stock.to_csv(Path(store_path+u<span data-raw-text="" "="" data-textnode-index="58" data-index="1576" class="character">"{}.csv<span data-raw-text="" "="" data-textnode-index="58" data-index="1583" class="character">".format(df_daily_stock[<span data-raw-text="" "="" data-textnode-index="60" data-index="1607" class="character">"当前时间<span data-raw-text="" "="" data-textnode-index="60" data-index="1612" class="character">"].values[0])), columns=df_daily_stock.columns, index=True, encoding='GBK')

打开csv文件如下所示：

需要注意到的是增加了“当前时间”列，在盘中获取实时数据的话，对应的时间会体现数据更新的时间戳。

还有一个重要点是文件名，这里取的名字是“2021-08-27 15/00/00.csv”，如果是实时数据的话要体现出时/分/秒的信息。

关于测试的结果，我用了8个线程，执行的时间在0.5秒左右。也就是说，更新一次实时数据只需要0.5秒左右，是远小于3秒的采样周期的。

另外，如果我们只在收盘时增量更新日线数据，那么每天只需要花1秒时间就能更新完当日A股市场全部股票数据。

由于测试环境千差万别，此处测试结果仅供大家参考。 大家也可以亲手对比下多线程和多进程的效率。

目标触发条件判断

当前的代码里面我提供的触发条件是一个范围：大于上限设定值时或者小于下限设定值会触发报警，在合理的范围内时，表明该股符合正常的波动，无需过多的关注。

代码中的super_up用于设定上限值，super_down用于设定下限值。可以是最新价格、涨跌幅、涨跌额、成交量等等，只要实盘数据有的都能支持。

# 大于设定值触发super_up = {"000876.SZ": {"最新价格":15.5, "涨跌幅":5.00}}
# 小于设定值触发super_down = {"000876.SZ": {"最新价格":14.80, "涨跌幅":-3.00}}

当然这个触发条件是一个非常基本的逻辑，相信每个人都有自己的一套判断条件，比如分成多档条件，逐一递进式地判断；比如拉升或者砸盘的速度；比如由涨转跌或者由跌转涨的过渡等等……

盯盘触发条件远程提醒

远程提醒的功能，解决方案有用微信、短信、邮件、钉钉之类的方式。这里我们介绍下邮箱这种相对有效的方式来远程提醒。

发送邮件和核心是SMTP（Simple Mail Transfer Protocol）协议，它是一组用于由源地址到目的地址的邮件传输规则。

Python真的是什么都能做，它对SMTP进行了简单的封装，只需用到两个模块，就可以轻松实现发送纯文本邮件、html邮件以及带附件的邮件。

哪两个模块呢？Python内置的email模块负责构建邮件，另一个smtplib模块负责发送邮件。

常规的流程，先把涉及到的模块全部导入进来，如下所示：

首先用MIMEText()构造一个最简单的纯文本邮件，其中第一个参数是邮件正文，第二个参数是内容的类型，比如'plain'表示纯文本邮件，'html'表示HTML邮件。

创建的邮件对象中，要添加From、To和Subject这些属性，否则就不是一封完整的邮件，比如会出现邮件没有主题，发件人的名称为匿名，明明收到了邮件却提示不在收件人中这些情况。

典型的例程如下所示：

再来说说负责发送邮件的smtplib模块，这个模块主要是用smtplib.SMTP()类去连接SMTP服务器，然后发送邮件。

例程中我们会用到几个常用的方法，比如set_debuglevel(1)打印和SMTP服务器交互的所有信息。login()登录SMTP服务器，sendmail()方法发邮件。

典型例程如下所示：

这里的password是个比较容易混淆的地方。不是邮箱登陆的密码，而是授权码。

第三方客户端登录QQ邮箱时是需要授权码的，包括其他邮箱也都一样，比如126、163邮箱等等。授权码可以认为是一个专用密码，适用于登录以下服务：POP3/IMAP/SMTP/Exchange/CardDAV/CalDAV服务。

如何设置呢？以QQ邮箱为例，我们在QQ邮件的帮助中心找到了方法。

在个人邮箱页面进入[设置] -> [帐户] 页面找到入口，然后把POP3/IMAP/SMTP这几个服务开启。

开启的时候有验证密保环节，需要发送短信，接着就获取到授权码，在第三方客户端的密码栏里面输入这16位授权码进行验证即可。

这样一来邮件就发送成功了，我已经得到量化盯盘提醒了！！！手机邮箱也一样可以收到哦！

说明

1. 我们会把完整的源码上传到知识星球《玩转股票量化交易》中，帮助小伙伴们更好地掌握这个方法。

2. 想要加入知识星球《玩转股票量化交易》的小伙伴记得先微信call我获取福利，名额有限先到先得！

3. 帮星球小伙伴冲下业绩，同时也给需要的小伙伴们发下大福利！！！开户可以看这篇！

量化低佣开户

元宵大师的量化交易书籍开售！！
京东、当当、天猫有售！！

最后祝大家国庆节快乐！