websocket与爬虫

Posted Python爬虫分享

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了websocket与爬虫相关的知识,希望对你有一定的参考价值。

背景

写爬虫的目的应该就是为了拿到数据,或者说模拟某种操作 如果他使用的是http(s) 协议来传输数据的,那么我们就模拟http协议来发送数据 如果它使用的是websocket协议来传输数据的, 那么我们理所当然的就模拟websocket来发送数据~

首先,我们需要了解什么是websocket

websocket的介绍

WebSocket是一种在单个TCP连接上进行全双工通讯的协议。WebSocket通信协议于2011年被IETF定为标准RFC 6455,并由RFC7936补充规范。WebSocket API也被W3C定为标准。

WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和服务器只需要完成一次握手,两者之间就直接可以创建持久性的连接,并进行双向数据传输。

上面是维基百科的介绍. 简单的将,websocket 和http一样,都是一种网络传输协议

他比http协议好的地址有哪些呢?

  • 较少的控制开销。在连接创建后,服务器和客户端之间交换数据时,用于协议控制的数据包头部相对较小。在不包含扩展的情况下,对于服务器到客户端的内容,此头部大小只有2至10字节(和数据包长度有关);对于客户端到服务器的内容,此头部还需要加上额外的4字节的掩码。相对于HTTP请求每次都要携带完整的头部,此项开销显著减少了。

  • 更强的实时性。由于协议是全双工的,所以服务器可以随时主动给客户端下发数据。相对于HTTP请求需要等待客户端发起请求服务端才能响应,延迟明显更少;即使是和Comet等类似的长轮询比较,其也能在短时间内更多次地传递数据。

  • 保持连接状态。于HTTP不同的是,Websocket需要先创建连接,这就使得其成为一种有状态的协议,之后通信时可以省略部分状态信息。而HTTP请求可能需要在每个请求都携带状态信息(如身份认证等)。

  • 更好的二进制支持。Websocket定义了二进制帧,相对HTTP,可以更轻松地处理二进制内容。

  • 可以支持扩展。Websocket定义了扩展,用户可以扩展协议、实现部分自定义的子协议。如部分浏览器支持压缩等。

  • 更好的压缩效果。相对于HTTP压缩,Websocket在适当的扩展支持下,可以沿用之前内容的上下文,在传递类似的数据时,可以显著地提高压缩率

websocket的应用场景

  • 直播平台的弹幕

  • 实时聊天

  • 等等

websocket 协议

WebSocket 是独立的、创建在 TCP 上的协议。

Websocket 通过 HTTP/1.1 协议的101状态码进行握手。

为了创建Websocket连接,需要通过浏览器发出请求,之后服务器进行回应,这个过程通常称为“握手”

那么websocket协议是如何握手的呢?

websocket握手

下面是websocket一次握手的过程 客户端请求

 
   
   
 
  1. GET / HTTP/1.1

  2. Upgrade: websocket

  3. Connection: Upgrade

  4. Host: example.com

  5. Origin: http://example.com

  6. Sec-WebSocket-Key: sN9cRrP/n9NdMgdcy2VJFQ==

  7. Sec-WebSocket-Version: 13

服务器响应

 
   
   
 
  1. HTTP/1.1 101 Switching Protocols

  2. Upgrade: websocket

  3. Connection: Upgrade

  4. Sec-WebSocket-Accept: fFBooB7FAkLlXgRSz0BT3v4hq5s=

  5. Sec-WebSocket-Location: ws://example.com/

和http字段不一样的地方

  • Connection必须设置Upgrade,表示客户端希望连接升级。

  • Upgrade字段必须设置Websocket,表示希望升级到Websocket协议。

  • Sec-WebSocket-Key是随机的字符串,服务器端会用这些数据来构造出一个SHA-1的信息摘要。把“Sec-WebSocket-Key”加上一个特殊字符串“258EAFA5-E914-47DA-95CA-C5AB0DC85B11”,然后计算SHA-1摘要,之后进行BASE-64编码,将结果做为“Sec-WebSocket-Accept”头的值,返回给客户端。如此操作,可以尽量避免普通HTTP请求被误认为Websocket协议。

  • Sec-WebSocket-Version 表示支持的Websocket版本。RFC6455要求使用的版本是13,之前草案的版本均应当弃用。

  • Origin字段是可选的,通常用来表示在浏览器中发起此Websocket连接所在的页面,类似于Referer。但是,与Referer不同的是,Origin只包含了协议和主机名称。

  • 其他一些定义在HTTP协议中的字段,如Cookie等,也可以在Websocket中使用。

可以看到只是在http协议上增加了几个硬性规定,http协议的user-agent,cookie都可以在websocket握手过程中使用

抓包时候的注意事项:因为websocket只有一次握手,握手成功后就可以双方发送消息了,假如你打开网页后没有找到你要抓的数据,那么你就需要重新刷新网页,让他重新握手一次

websocket的事件

on_open

表示刚刚连接的时候

onmessage

表示收到消息怎么做

send

表示给服务器发送消息

on_close

表示关闭连接

那么知道了这些对我们有什么好处么? 找js的时候会很好找,这几个关键词基本上都是固定的 你可以直接全局搜搜,然后很容易能找到发送的js代码

模拟发送的时候也是一样的.

实际案例

前面介绍了一堆websocket协议相关的东西,估计很多人已经晕了. 没关系,先看实例,有问题再回到上面看

抓包可以使用fiddle,chrome也是可以的

我们先使用chrome

本次要抓的网站的一个投票网站 大家可以先随便投一个票,抓抓包看看 会发现怎么没有找到他是如何提交数据的...

选择ws,然后刷新下网页,再点击下投票,会发现有一个请求

可以看到是在握手阶段,请求头里面的参数和我们上面讲的是一样的.

websocket与爬虫

看一下交互的内容(点击Frames) 可以看到已经有四条消息了,但是消息内容是二进制的,chrome这边无法预览... 那么我们使用fiddle试一下

websocket与爬虫

抓包与分析

打开fiddle,刷新一下网页 不刷新的话是看不到的,然后随便投一下票.

websocket与爬虫

怎么找到请求呢,很简单,看状态码为101的就行,然后双击这一行

然后这边还是看到四条消息,我们点击第一条,然后用 TextView展示,可以看到消息是这些 为啥用 TextView呢?其实是一个一个的试过来的,假如你发现都试过了,还是乱码,那应该是他使用了其他的压缩或者加密方法,需要查看js看看他是如何加密的

websocket与爬虫

这个网站的数据是没有加密过的. 带向上的箭头的是我们向服务器发送的,向下的箭头是服务器返回的(下面的数据,前面带黑点?,是我们发送的)

  • {"action":"auth","val":5}

{"action":"auth","msg":"eval(\"\\115\\141\\164\\150\\56\\163\\151\\156\\50\\61\\65\\61\\67\\67\\66\\62\\63\\61\\63\\51\")"}

  • {"action":"auth","val":-0.3241458910493796}

{"action":"wait","msg":95420}

  • {"action":"vote","val":"{\"itemid\":126067,\"catid\":41867,\"captcha\":\"%u7EC7%u65E7%u5F88%u9C7C\",\"auth\":5,\"rnd\":\"4186712606754595\"}"}

{"action":"vote","msg":"ok,231812,2018-02-04 22:32:55"}

可以看出来 首先我们发送 {"action":"auth","val":5} 然后服务器返回一串信息给我们, 然后我们根据服务器返回的算出一个值,也就是 {"action":"auth","val":-0.3241458910493796}再发送给服务器. 服务器返回 {"action":"wait","msg":95420},表示验证通过 然后我们投票,发送了投票的一些信息给服务 服务器告诉我们投票成功.

以上就是整个通讯过程.

那如果我们要模拟发送的话,需要知道哪些信息呢

  1. {"action":"auth","val":5}里面的 val:5,这个5是固定的么?如果不是,是如何生成的

  2. 服务器返回的是什么,如何解析

  3. 如何根据服务器返回的生成一个新的val

  4. 发送投票信息里面 {"action":"vote","val":"{\"itemid\":126067,\"catid\":41867,\"captcha\":\"%u7EC7%u65E7%u5F88%u9C7C\",\"auth\":5,\"rnd\":\"4186712606754595\"}"}itemid,catid,capthc,auth,rnd如何生成

找参数

还是使用chrome,直接用 ctrl + shift +f,然后输入websocket(或者onopen,onmessage,等等上面提到的事件去搜索)

运气很好,输入 websocket直接就搜到了js,还是没有混淆的

websocket与爬虫

然后onmessage也看到了,大概意思是收到信息后,用json解析,如果action是auth的话,则调用sendData这个方法,如果action是vote的话,则使用vote_resule方法.

websocket与爬虫

在看到onopen方法,是调用sendData,并发送 ('auth',authType),在这边是不是联想到前面,我们第一次发送的数据? {"action":"auth","val":5},是不是感觉一模一样

close方法就不说了,反正我们也用不上

websocket与爬虫

再看看sendData这个方法,

websocket与爬虫

用python实现的话是这样

websocket与爬虫

再看vote_result方法,大概作用是判断投票结果

websocket与爬虫

所有的方法我们都找到了,那么我们再和之前要找的参数走一遍.

  1. {"action":"auth","val":5}里面的 val:5,这个5是固定的么?如果不是,是如何生成的

    这个5也就是onopen里面的authType,至于authType是不是固定的,搜索一下就知道了.

  2. 服务器返回的是什么,如何解析

  3. 如何根据服务器返回的生成一个新的val

    可以通过onmessage方法知道他返回的json数据,json解析一下就行, 里面的val是通过执行 eval(val)得到的 所以你也可以直接执行这个.或者用python实现

    websocket与爬虫
  4. 发送投票信息里面 {"action":"vote","val":"{\"itemid\":126067,\"catid\":41867,\"captcha\":\"%u7EC7%u65E7%u5F88%u9C7C\",\"auth\":5,\"rnd\":\"4186712606754595\"}"}itemid,catid,capthc,auth,rnd如何生成

itemid 就是你投票的公司的id,catid之前讲过,captcha就是验证码, auth和上面的authtype一样 rnd是通过搜索js发现了.

websocket与爬虫

再看看验证码是如何生成的呢

检查验证码是否正确

我们已经拿到所有需要的东西了,只要用程序模拟发送就行了.

模拟发送

使用的包是websocket

官方demo

 
   
   
 
  1. import websocket

  2. try:

  3.  import thread

  4. except ImportError:

  5.  import _thread as thread

  6. import time

  7. def on_message(ws, message):

  8.  print(message)

  9. def on_error(ws, error):

  10.  print(error)

  11. def on_close(ws):

  12.  print("### closed ###")

  13. def on_open(ws):

  14.  def run(*args):

  15.  for i in range(3):

  16.  time.sleep(1)

  17.  ws.send("Hello %d" % i)

  18.  time.sleep(1)

  19.  ws.close()

  20.  print("thread terminating...")

  21.  thread.start_new_thread(run, ())

  22. if __name__ == "__main__":

  23.  websocket.enableTrace(True)

  24.  ws = websocket.WebSocketApp("ws://echo.websocket.org/",

  25.  on_message = on_message,

  26.  on_error = on_error,

  27.  on_close = on_close)

  28.  ws.on_open = on_open

  29.  ws.run_forever()

可以看到使用还是很简单的,也是 onopen,onmessage,send

所以我们只要用我们上面得到的信息就行模拟发送就可以了

因为是投票网站,所以不提供代码...有啥问题,请留言~


以上是关于websocket与爬虫的主要内容,如果未能解决你的问题,请参考以下文章

scrapy主动退出爬虫的代码片段(python3)

JS 逆向百例WebSocket 协议爬虫,智慧树扫码登录案例分析

WebSocket 反爬虫

Node开发websocket爬虫的经验

websocket 爬虫

websocket 爬虫