RTMP协议抓包分析拉流过程

Posted 2023-05-15

参考技术A RTMP协议规定，播放一个流媒体有两个前提步骤：
第一步，建立一个网络连接（NetConnection）。
第二步，建立一个网络流（NetStream）。
网络连接代表服务器端应用程序和客户端之间基础的连通关系，网络流代表了发送多媒体数据的通道。服务器和客户端之间只能建立一个网络连接，但是基于该连接可以创建很多网络流。

播放一个RTMP协议的流媒体需要经过四个阶段：

下面是使用librtmp执行拉流过程的API调用流，如下：

RTMP定义了较为完善的协议标准，但是每种播放工具的实现略有差异，下面是我使用VLC播放器拉流时抓取的报文，使用wireshark分析过程整理为下面的图文。

先看一张总览图，图中显示的报文和时序包含了握手、建立连接、建立流和播放阶段，如下：

还有申明下，以下的流程是根据实际抓包情况分析出来的，由于不同的工具省略了一些不必要的步骤，故不代表标准结果，仅供参考。

由于讲解握手过程的文档资料比较多，我这里就不重复描述了，摘图如下：

个人认为这张图是最符合标准时序的，细节拿捏得非常讲究，虽然很多实现简化了流程。

包括以下报文和步骤：

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 0
     CSID: 3
     时间戳：0
     BodySize: 201
     TypeID: 0x14
     Stream ID: 0
负载格式：AMF0表示，connect 1 object1
     object1属性列表：
          "app": "live"
          "flashVer": "LNX 9,0,124,2"
          "tcUrl": " rtmp://127.0.0.1:1935/live "
          "fpad": false
          "capabilities": 15,
          "audioCodes": 4071,
          "videoCodes": 252,
          "videoFunction": 1,
          End Of Object Marker

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 4
     TypeID: 0x05
     Stream ID: 0
负载格式：4字节整型表示，如5000000

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 5
     TypeID: 0x06
     Stream ID: 0
负载格式：5字节整型表示，前4字节为带宽，后1字节为标志，如5000000, 2(动态调整)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 4
     TypeID: 0x01
     Stream ID: 0
负载格式：4字节整型表示，如4096

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 3
     时间戳：0
     BodySize: 190
     TypeID: 0x14
     Stream ID: 0
负载格式：AMF0表示，_result 1 object1 object2
     object1属性列表：
          "fmsVer": "FMS/3,0,1,123"
          "capabilities": 31,
          End Of Object Marker
     object2属性列表：
          "level": "status"
          "code": "NetConnection.Connect.Success",
          "description": "Connection succeeded.",
          "objectEncoding": 0
          End Of Object Marker

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 4
     TypeID: 0x05
     Stream ID: 0
负载格式：4字节整型表示，如5000000

包括以下报文和步骤：

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 1
     CSID: 3
     时间戳：0
     BodySize: 25
     TypeID: 0x14
负载格式：AMF0表示，createStream 2 object(Null)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 3
     时间戳：0
     BodySize: 29
     TypeID: 0x14
     Stream ID: 0
负载格式：AMF0表示，_result 2 object(Null) Number(1)

包括以下报文和步骤：

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 0
     CSID: 8
     时间戳：0
     BodySize: 30
     TypeID: 0x14
     Stream ID: 1
负载格式：AMF0表示，play 4 Object(Null) String节目ID("a") Number开始时间(-2000)

协议截图如下：

协议方向：客户端 -> 服务器
块头字段：
     HeaderType: 1
     CSID: 2
     时间戳：1
     BodySize: 10
     TypeID: 0x04
负载格式：Event Type，2字节的类型(3) 4字节的流ID(1) 4字节的MS时间单位(3000)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 2
     时间戳：0
     BodySize: 6
     TypeID: 0x04
负载格式：Event Type，2字节的类型(0) 4字节的流ID(1)

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 5
     时间戳：0
     BodySize: 96
     TypeID: 0x14
     Stream ID: 1
负载格式：AMF0表示，onStatus 0 Object1(Null) object2
     object2属性列表：
          "level": "status"
          "code": "NetStream.Play.Start",
          "description": "Start live",
          End Of Object Marker

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 5
     时间戳：0
     BodySize: 387
     TypeID: 0x12
     Stream ID: 1
负载格式：AMF0表示，onMetaData object
     object属性列表：
          "Server": "NGINX RTMP"
          "width": 480,
          "height": 270,
          "displayWidth": 480,
          "displayHeight": 270,
          "duration": 0,
          "framerate": 16,
          "fps": 16,
          "videodatarate": 193,
          "videocodeid": 7,
          "audiodatarate": 52,
          "audiocodeid": 10,
          "profile": "",
          "level": "",
          End Of Object Marker

协议截图如下：

协议方向：服务器 -> 客户端
块头字段：
     HeaderType: 0
     CSID: 6
     时间戳：0
     BodySize: 209
     TypeID: 0x08
     Stream ID: 1
负载格式：格式头，媒体数据

结合以上分析，总结时序图如下：

另外，关于HeaderType和CSID的运用，先归纳使用情况：
0x14(connect) HeaderType: 0 CSID: 3
0x05(Ack Window Size) HeaderType: 0 CSID: 2
0x06(BrandWidth) HeaderType: 0 CSID: 2
0x01(ChunkSize) HeaderType: 0 CSID: 2
0x14(connect _result) HeaderType: 0 CSID: 3
0x14(createStream) HeaderType: 1 CSID: 3
0x14(createStream _result) HeaderType: 0 CSID: 3
0x14(play) HeaderType: 0 CSID: 8
0x04(SetBufferMS) HeaderType: 1 CSID: 2
0x04(Stream Begin) HeaderType: 0 CSID: 2
0x14(play onStatus) HeaderType: 0 CSID: 5
0x12(onMetaData) HeaderType: 0 CSID: 5
0x08(audioData) HeaderType: 0 CSID: 6
0x09(videoData) HeaderType: 0 CSID: 7

总结：
关于HeaderType的运用，有以下规则：
createStream使用1号HeaderType，借用3号CSID之前的StreamID。
SetBufferMS使用1号HeaderType。
audioData和videoData视情况使用0、1、2、3号HeaderType。
关于CSID的运用，有以下规则：

推流和拉流的概念以及RTMP和HLS协议

https://www.bbsmax.com/A/x9J2wZM56o/

推流为将直播内容推送至服务器的过程；拉流为服务器已有直播内容，用指定地址进行拉取的过程。

rtmp

rtmp是Real Time Messaging Protocol（实时消息传输协议）的首字母缩写。该协议基于TCP，是一个协议族，包括RTMP基本协议及RTMPT/RTMPS/RTMPE等多种变种。RTMP是一种设计用来进行实时数据通信的网络协议，主要用来在Flash/AIR平台和支持RTMP协议的流媒体/交互服务器之间进行音视频和数据通信。

hls

hls (HTTP Live Streaming)，Apple的动态码率自适应技术。主要用于PC和Apple终端的音视频服务。包括一个m3u(8)的索引文件，TS媒体分片文件和key加密串文件。

推流和拉流的概念以及RTMP和HLS协议的更多相关文章

1. java封装FFmpeg命令，支持原生ffmpeg全部命令，实现FFmpeg多进程处理与多线程输出控制(开启、关闭、查询)，rtsp/rtmp推流、拉流

   前言: 之前已经对FFmpeg命令进行了封装http://blog.csdn.net/eguid_1/article/details/51787646,但是当时没有考虑到扩展性,所以总体设计不是太好, ...

2. iOS开发之利用IJKPlayer+nginx+rtmp搭建直播的推流和拉流

   最近项目中想实现直播的功能,所以研究了一段时间的直播功能,当然也是在别人的基础上不断的学习实现的,所以记录一下,希望对大家有所帮助. 直播拉流功能: 这里使用了开源的IJKPlayer第三框架,ijk ...

3. 开源流媒体服务器SRS学习笔记(1) - 安装、推流、拉流

   SRS(Simple RTMP Server)  是国人写的一款非常优秀的开源流媒体服务器软件,可用于直播/录播/视频客服等多种场景,其定位是运营级的互联网直播服务器集群. 一.安装 官网提供了3种安 ...

4. 开源流媒体服务器SRS学习笔记(2) - rtmp / http-flv / hls 协议配置 及跨域问题

   对rtmp/http-flv/hls这三种协议不熟悉的同学,强烈建议先看看网友写的这篇文章科普下:理解RTMP.HttpFlv和HLS的正确姿势 .   srs可以同时支持这3种协议,只要修改conf ...

5. 流媒体压力测试rtmp&hls（含推流和拉流）

   http://blog.csdn.net/sinat_34194127/article/details/50816045 [root@localhost ~]# yum install git unz ...

6. wowza拉流和推流接口备忘

   拉流接口地址:https://www.wowza.com/docs/stream-management-query-examples# 推流接口地址:https://www.wowza.com/doc ...

7. SRS服务器搭建,ffmpeg 本地推流,srs从本地拉流

   参考: https://github.com/ossrs/srs/wiki/v2_CN_SampleFFMPEG git clone https://github.com/ossrs/srs cd s ...

8. 直播推流之blibli和拉流LFLiveKit

   执行上面操作后,导入合成的拉流blibli包到工程中,然后新建个播放控制器来设置播放 1.  播放的一些操作. 2. 高斯模糊. 3. 新建聊天控制器. - (void)viewDidLoad [ ...

9. 流媒体测试笔记记录之————阿里云监控、OBS、FFmpeg拉流和推流变化比较记录

   OBS设置视频(512kbps)和音频(128kbps)比特率 阿里云监控结果: 使用FFmpeg拉流到Nginx 服务器测试比特率 第二次测试,修改视频和音频比特率 OBS设置 阿里云监控 Ngin ...