使用ffmpeg命令推送rtsp流，不包含SPS和PPS帧

Posted 2023-02-19

【中文标题】使用ffmpeg命令推送rtsp流，不包含SPS和PPS帧

【英文标题】：use ffmpeg command to push rtsp stream, it doesn't contain SPS and PPS frame

【发布时间】：2022-01-07 03:17:16

【问题描述】：

我使用 python 和 opencv-python 从视频中捕获帧，然后使用 ffmpeg 命令通过管道推送 rtsp 流。我可以通过 gstreamer 和 vlc 播放 rtsp 流。但是，显示设备无法解码和播放 rtsp-stream，因为它无法接收 SPS 和 PPS 帧。使用wireshark抓流，发现不发送sps和pps帧，只发送IDR 帧。

关键代码如下。

# ffmpeg command
command = ['ffmpeg',
           '-re',
           '-y',
           '-f', 'rawvideo',
           '-vcodec', 'rawvideo',
           '-pix_fmt', 'bgr24',
           '-s', "x".format(width, height),
           '-r', str(fps),
           '-i', '-',
           '-c:v', 'libx264',
           '-preset', 'ultrafast',
           '-f', 'rtsp',
           '-flags', 'local_headers', 
           '-rtsp_transport', 'tcp',
           '-muxdelay', '0.1', 
           rtsp_url]
 
p = sp.Popen(command, stdin=sp.PIPE)
 
 
while (cap.isOpened()):
    ret, frame = cap.read()
    if not ret:
        cap = cv2.VideoCapture(video_path)
        continue
    p.stdin.write(frame.tobytes()

我可能错过了 ffmpeg 命令的一些选项吗？

【参考方案1】：

尝试添加参数'-bsf:v', 'dump_extra'。

根据FFmpeg Bitstream Filters Documentation：

dump_extra 将额外数据添加到过滤数据包的开头，除非所述数据包已经完全以要添加的额外数据开头。

过滤器应该为每个关键帧添加 SPS 和 PPS NAL 单元。

---

这是一个完整的代码示例：

import subprocess as sp
import cv2

rtsp_url = 'rtsp://localhost:31415/live.stream'

video_path = 'input.mp4'


# We have to start the server up first, before the sending client (when using TCP). See: https://trac.ffmpeg.org/wiki/StreamingGuide#Pointtopointstreaming
ffplay_process = sp.Popen(['ffplay', '-rtsp_flags', 'listen', rtsp_url])  # Use FFplay sub-process for receiving the RTSP video.


cap = cv2.VideoCapture(video_path)

width  = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))  # Get video frames width
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))  # Get video frames height
fps = int(cap.get(cv2.CAP_PROP_FPS))  # Get video framerate

    
# FFmpeg command
command = ['ffmpeg',
           '-re',
           '-y',
           '-f', 'rawvideo',
           '-vcodec', 'rawvideo',
           '-pix_fmt', 'bgr24',
           '-s', "x".format(width, height),
           '-r', str(fps),
           '-i', '-',
           '-c:v', 'libx264',
           '-preset', 'ultrafast',
           '-f', 'rtsp',
           #'-flags', 'local_headers', 
           '-rtsp_transport', 'tcp',
           '-muxdelay', '0.1',
           '-bsf:v', 'dump_extra',
           rtsp_url]

p = sp.Popen(command, stdin=sp.PIPE)

while (cap.isOpened()):
    ret, frame = cap.read()

    if not ret:
        break

    p.stdin.write(frame.tobytes())


p.stdin.close()  # Close stdin pipe
p.wait()  # Wait for FFmpeg sub-process to finish
ffplay_process.kill()  # Forcefully close FFplay sub-process

---

注意事项：

'-flags', 'local_headers' 在我的 FFmpeg 版本中不是有效参数。 我不知道如何验证我的解决方案，所以我可能是错的......

【讨论】：

非常感谢！问题我已经解决了，我们的解决方法都是一样的！