实时获取股票数据，免费！——Python爬虫Sina Stock实战
Posted 数量技术宅
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了实时获取股票数据，免费！——Python爬虫Sina Stock实战相关的知识，希望对你有一定的参考价值。
数量技术宅团队在CSDN学院推出了量化投资系列课程
欢迎有兴趣系统学习量化投资的同学，点击下方链接报名：
实时股票数据的重要性
对于四大可交易资产：股票、期货、期权、数字货币来说，期货、期权、数字货币，可以从交易所提供的api收到实时行情数据，而股票由于量化交易接口不面向普通人开放，导致大家想要获取到股票的实时数据，十分困难。而与此同时，股票实时数据，又是极其重要的场内交易数据。
对于手动交易者而言，实时数据一方面可以辅助盯盘，另一方面，可以用程序简单开发到价提醒，到某个价位，进行入场和出场的交易。
对于量化交易者，实时行情就更加重要了。我们接收实时行情之后，不仅需要用实时数据计算策略信号，而且当策略信号需要对某个股票进行下单的时候，我们也需要知道该股票的最新价格、盘口数据，从而根据价格+盘口，选择合适的价位下单。此外，实时数据落地后，还可以为我们的策略回测服务。
爬虫最通俗原理解释
爬虫，相当于模仿了网页查询的动作，比如我们在浏览器中输入了www.baidu.com，浏览器向我们返回百度的主页，其实这就是一个请求+返回的过程。我们请求的是地址，返回的是数据（尽管我们看到的是百度主页，其实背后对应的还是一些列的数据，只不过后续的可视化展示成了网页）。
对于请求股票数据来说，也是同理。比如我们请求某一只股票的数据（以600000浦发银行为例），在浏览器地址中输入：http://hq.sinajs.cn/list=sh600000，股票代码可任意修改，浏览器返回如下数据集并显示：
当然同时查询多只股票，也是可以做到的，我们同样在浏览器中输入地址，例如：http://hq.sinajs.cn/list=sh600000,sz000001,sz000002，就同时查询到了浦发银行、平安银行、万科A的数据。
那么，对于Python来说，我们如何使用Python来模仿网页查询的动作？这里必须要借助一个Python的三方库：request库。
requests是使用Apache2 licensed 许可证的HTTP库。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。可以说，requests在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。与此同时，requests会自动实现持久连接keep-alive。
requests库的上述优点，加上其使用的便捷性，使得其成为Python爬虫的首选工具。我们通过requests，来重复一遍上述网页的查询过程，步骤也很简单，首先查询单个股票，返回如下
再次查询多个股票，返回如下，可以看到，用requests进行查询所返回的结果，与我们网页上看到的是完全一致的，这也说明requests完美的模拟了浏览器的请求动作。
Python爬虫Sina Stock实战
第一步，Sina API + Requests库调用核心函数
通过调用Sina Stock API，实时查询股票价格。我们采用多股票查询，使用requests请求接口。
核心函数逻辑：code传入股票代码，调用requests库进行查询，并解析查询结果，得到我们想要查询的股票最新价格、当日涨跌幅、昨收盘价等关键字段
第二步，通过threading多线程同时查询结果、通过Queue实现线程池
我们简要介绍一下threading和Queue。threading模块中包含了关于线程操作的丰富功能，包括：常用线程函数，线程对象，锁对象，递归锁对象，事件对象，条件变量对象，信号量对象，定时器对象，栅栏对象。threading.Thread:线程对象，重要方法，start()：开启线程活动。它将使得run()方法在一个独立的控制线程中被调用，需要注意的是同一个线程对象的start()方法只能被调用一次，如果调用多次，则会报RuntimeError错误。run()：此方法代表线程活动。
Python的Queue模块中提供了同步的、线程安全的队列类，包括FIFO（先入先出)队列Queue，LIFO（后入先出）队列LifoQueue，和优先级队列PriorityQueue。这些队列都实现了锁原语，能够在多线程中直接使用。可以使用队列来实现线程间的同步。Queue.put(item) 写入队列；Queue.get([block[, timeout]])获取队列
第三步，模块化实现：Worker类 & Stock类
Worker类，主要实现功能：
-
传入线程实例对象，调用init、start方法，重载run函数
-
work_queue存放要查询的队列，依次取出（FIFO），查询结果存到result_queue队列，当队列满，取出结果队列中所有查询结果，并打印
Stock类，主要实现功能：
-
初始化生产者、消费者队列，生产者队列为空，消费者队列最大数量是查询的股票数量
-
按预设的线程数据，初始化线程池，绑定Worker类
-
对于每次每只要查询的股票，加入生产者队列
-
定义爬虫获取数据的函数
最后，我们调用Worker类和Stock类，就能得到想要获取的结果了。
运行结果展示
程序不仅可以获取个股数据，也能够获取指数数据，我们默认订阅了上证指数、深圳综指、万科A、浦发银行，4个数据流，以下是默认运行结果的展示，我们打印了最新价、涨跌幅、昨收价等关键数据。我们按照一定的时间间隔，获取数据并打印。
程序的扩展：在主程序入口，可修改查询的股票数量，我们支持多股票同时查询；查询的时间间隔、查询的线程数量的修改。
当然，我们也可以对该爬虫程序做后续的进一步拓展，比如计算量化策略信号，落地数据作为回测数据，等等。
如果你想要获取这个Python爬虫Sina Stock程序，欢迎扫码添加数量技术宅个人微信，领取完整代码。
想要获取本次分享的完整代码，或是任何关于数据分析、量化投资的问题，欢迎添加技术宅微信：sljsz01，一起交流
往期干货分享推荐阅读
万物皆可秒——淘宝秒杀Python脚本，扫货618，备战双11！
Omega System Trading and Development Club内部分享策略Easylanguage源码
量化交易如何选择云服务器，如何在本地远程开发与调试云服务器程序
【数量技术宅|量化投资策略系列分享】基于指数移动平均的股指期货交易策略
AMA指标原作者Perry Kaufman 100+套交易策略源码分享
【数量技术宅|金融数据分析系列分享】套利策略的价差序列计算，恐怕没有你想的那么简单
【数量技术宅|量化投资策略系列分享】成熟交易者期货持仓跟随策略
【数量技术宅|金融数据分析系列分享】为什么中证500（IC）是最适合长期做多的指数
大宗商品现货数据不好拿？商品季节性难跟踪？技术宅带你Python爬虫一键解决没烦恼
【数量技术宅|金融数据分析系列分享】如何正确抄底商品期货、大宗商品
以上是关于实时获取股票数据，免费！——Python爬虫Sina Stock实战的主要内容，如果未能解决你的问题，请参考以下文章