websocket与爬虫
Posted Python爬虫分享
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了websocket与爬虫相关的知识,希望对你有一定的参考价值。
背景
写爬虫的目的应该就是为了拿到数据,或者说模拟某种操作 如果他使用的是http(s) 协议来传输数据的,那么我们就模拟http协议来发送数据 如果它使用的是websocket协议来传输数据的, 那么我们理所当然的就模拟websocket来发送数据~
首先,我们需要了解什么是websocket
websocket的介绍
WebSocket是一种在单个TCP连接上进行全双工通讯的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455,并由RFC7936补充规范。WebSocket API也被W3C定为标准。
WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输。
上面是维基百科的介绍. 简单的将,websocket 和http一样,都是一种网络传输协议
他比http协议好的地址有哪些呢?
较少的控制开销。在连接创建后,服务器和客户端之间交换数据时,用于协议控制的数据包头部相对较小。在不包含扩展的情况下,对于服务器到客户端的内容,此头部大小只有2至10字节(和数据包长度有关);对于客户端到服务器的内容,此头部还需要加上额外的4字节的掩码。相对于HTTP请求每次都要携带完整的头部,此项开销显著减少了。
更强的实时性。由于协议是全双工的,所以服务器可以随时主动给客户端下发数据。相对于HTTP请求需要等待客户端发起请求服务端才能响应,延迟明显更少;即使是和Comet等类似的长轮询比较,其也能在短时间内更多次地传递数据。
保持连接状态。于HTTP不同的是,Websocket需要先创建连接,这就使得其成为一种有状态的协议,之后通信时可以省略部分状态信息。而HTTP请求可能需要在每个请求都携带状态信息(如身份认证等)。
更好的二进制支持。Websocket定义了二进制帧,相对HTTP,可以更轻松地处理二进制内容。
可以支持扩展。Websocket定义了扩展,用户可以扩展协议、实现部分自定义的子协议。如部分浏览器支持压缩等。
更好的压缩效果。相对于HTTP压缩,Websocket在适当的扩展支持下,可以沿用之前内容的上下文,在传递类似的数据时,可以显著地提高压缩率
websocket的应用场景
直播平台的弹幕
实时聊天
等等
websocket 协议
WebSocket 是独立的、创建在 TCP 上的协议。
Websocket 通过 HTTP/1.1 协议的101状态码进行握手。
为了创建Websocket连接,需要通过浏览器发出请求,之后服务器进行回应,这个过程通常称为“握手”
那么websocket协议是如何握手的呢?
websocket握手
下面是websocket一次握手的过程 客户端请求
GET / HTTP/1.1
Upgrade: websocket
Connection: Upgrade
Host: example.com
Origin: http://example.com
Sec-WebSocket-Key: sN9cRrP/n9NdMgdcy2VJFQ==
Sec-WebSocket-Version: 13
服务器响应
HTTP/1.1 101 Switching Protocols
Upgrade: websocket
Connection: Upgrade
Sec-WebSocket-Accept: fFBooB7FAkLlXgRSz0BT3v4hq5s=
Sec-WebSocket-Location: ws://example.com/
和http字段不一样的地方
Connection必须设置Upgrade,表示客户端希望连接升级。
Upgrade字段必须设置Websocket,表示希望升级到Websocket协议。
Sec-WebSocket-Key是随机的字符串,服务器端会用这些数据来构造出一个SHA-1的信息摘要。把“Sec-WebSocket-Key”加上一个特殊字符串“258EAFA5-E914-47DA-95CA-C5AB0DC85B11”,然后计算SHA-1摘要,之后进行BASE-64编码,将结果做为“Sec-WebSocket-Accept”头的值,返回给客户端。如此操作,可以尽量避免普通HTTP请求被误认为Websocket协议。
Sec-WebSocket-Version 表示支持的Websocket版本。RFC6455要求使用的版本是13,之前草案的版本均应当弃用。
Origin字段是可选的,通常用来表示在浏览器中发起此Websocket连接所在的页面,类似于Referer。但是,与Referer不同的是,Origin只包含了协议和主机名称。
其他一些定义在HTTP协议中的字段,如Cookie等,也可以在Websocket中使用。
可以看到只是在http协议上增加了几个硬性规定,http协议的user-agent,cookie都可以在websocket握手过程中使用
抓包时候的注意事项:因为websocket只有一次握手,握手成功后就可以双方发送消息了,假如你打开网页后没有找到你要抓的数据,那么你就需要重新刷新网页,让他重新握手一次
websocket的事件
on_open
表示刚刚连接的时候
onmessage
表示收到消息怎么做
send
表示给服务器发送消息
on_close
表示关闭连接
那么知道了这些对我们有什么好处么? 找js的时候会很好找,这几个关键词基本上都是固定的 你可以直接全局搜搜,然后很容易能找到发送的js代码
模拟发送的时候也是一样的.
实际案例
前面介绍了一堆websocket协议相关的东西,估计很多人已经晕了. 没关系,先看实例,有问题再回到上面看
抓包可以使用fiddle,chrome也是可以的
我们先使用chrome
本次要抓的网站的一个投票网站 大家可以先随便投一个票,抓抓包看看 会发现怎么没有找到他是如何提交数据的...
选择ws,然后刷新下网页,再点击下投票,会发现有一个请求
可以看到是在握手阶段,请求头里面的参数和我们上面讲的是一样的.
看一下交互的内容(点击Frames) 可以看到已经有四条消息了,但是消息内容是二进制的,chrome这边无法预览... 那么我们使用fiddle试一下
抓包与分析
打开fiddle,刷新一下网页 不刷新的话是看不到的,然后随便投一下票.
怎么找到请求呢,很简单,看状态码为101的就行,然后双击这一行
然后这边还是看到四条消息,我们点击第一条,然后用 TextView
展示,可以看到消息是这些 为啥用 TextView
呢?其实是一个一个的试过来的,假如你发现都试过了,还是乱码,那应该是他使用了其他的压缩或者加密方法,需要查看js看看他是如何加密的
这个网站的数据是没有加密过的. 带向上的箭头的是我们向服务器发送的,向下的箭头是服务器返回的(下面的数据,前面带黑点?,是我们发送的)
{"action":"auth","val":5}
{"action":"auth","msg":"eval(\"\\115\\141\\164\\150\\56\\163\\151\\156\\50\\61\\65\\61\\67\\67\\66\\62\\63\\61\\63\\51\")"}
{"action":"auth","val":-0.3241458910493796}
{"action":"wait","msg":95420}
{"action":"vote","val":"{\"itemid\":126067,\"catid\":41867,\"captcha\":\"%u7EC7%u65E7%u5F88%u9C7C\",\"auth\":5,\"rnd\":\"4186712606754595\"}"}
{"action":"vote","msg":"ok,231812,2018-02-04 22:32:55"}
可以看出来 首先我们发送 {"action":"auth","val":5}
然后服务器返回一串信息给我们, 然后我们根据服务器返回的算出一个值,也就是 {"action":"auth","val":-0.3241458910493796}
再发送给服务器. 服务器返回 {"action":"wait","msg":95420}
,表示验证通过 然后我们投票,发送了投票的一些信息给服务 服务器告诉我们投票成功.
以上就是整个通讯过程.
那如果我们要模拟发送的话,需要知道哪些信息呢
{"action":"auth","val":5}
里面的val:5
,这个5是固定的么?如果不是,是如何生成的服务器返回的是什么,如何解析
如何根据服务器返回的生成一个新的val
发送投票信息里面
{"action":"vote","val":"{\"itemid\":126067,\"catid\":41867,\"captcha\":\"%u7EC7%u65E7%u5F88%u9C7C\",\"auth\":5,\"rnd\":\"4186712606754595\"}"}
itemid,catid,capthc,auth,rnd如何生成
找参数
还是使用chrome,直接用 ctrl + shift +f
,然后输入websocket(或者onopen,onmessage,等等上面提到的事件去搜索)
运气很好,输入 websocket
直接就搜到了js,还是没有混淆的
然后onmessage也看到了,大概意思是收到信息后,用json解析,如果action是auth的话,则调用sendData这个方法,如果action是vote的话,则使用vote_resule方法.
在看到onopen方法,是调用sendData,并发送 ('auth',authType)
,在这边是不是联想到前面,我们第一次发送的数据? {"action":"auth","val":5}
,是不是感觉一模一样
close方法就不说了,反正我们也用不上
再看看sendData这个方法,
用python实现的话是这样
再看vote_result方法,大概作用是判断投票结果
所有的方法我们都找到了,那么我们再和之前要找的参数走一遍.
{"action":"auth","val":5}
里面的val:5
,这个5是固定的么?如果不是,是如何生成的这个5也就是onopen里面的authType,至于authType是不是固定的,搜索一下就知道了.
服务器返回的是什么,如何解析
如何根据服务器返回的生成一个新的val
可以通过onmessage方法知道他返回的json数据,json解析一下就行, 里面的val是通过执行
eval(val)
得到的 所以你也可以直接执行这个.或者用python实现发送投票信息里面
{"action":"vote","val":"{\"itemid\":126067,\"catid\":41867,\"captcha\":\"%u7EC7%u65E7%u5F88%u9C7C\",\"auth\":5,\"rnd\":\"4186712606754595\"}"}
itemid,catid,capthc,auth,rnd如何生成
itemid 就是你投票的公司的id,catid之前讲过,captcha就是验证码, auth和上面的authtype一样 rnd是通过搜索js发现了.
再看看验证码是如何生成的呢
检查验证码是否正确
我们已经拿到所有需要的东西了,只要用程序模拟发送就行了.
模拟发送
使用的包是websocket
官方demo
import websocket
try:
import thread
except ImportError:
import _thread as thread
import time
def on_message(ws, message):
print(message)
def on_error(ws, error):
print(error)
def on_close(ws):
print("### closed ###")
def on_open(ws):
def run(*args):
for i in range(3):
time.sleep(1)
ws.send("Hello %d" % i)
time.sleep(1)
ws.close()
print("thread terminating...")
thread.start_new_thread(run, ())
if __name__ == "__main__":
websocket.enableTrace(True)
ws = websocket.WebSocketApp("ws://echo.websocket.org/",
on_message = on_message,
on_error = on_error,
on_close = on_close)
ws.on_open = on_open
ws.run_forever()
可以看到使用还是很简单的,也是 onopen,onmessage,send
所以我们只要用我们上面得到的信息就行模拟发送就可以了
因为是投票网站,所以不提供代码...有啥问题,请留言~
以上是关于websocket与爬虫的主要内容,如果未能解决你的问题,请参考以下文章