将 opencv 帧写入 gstreamer rtsp 服务器管道

Posted 2023-02-19

【中文标题】将 opencv 帧写入 gstreamer rtsp 服务器管道

【英文标题】：Write opencv frames into gstreamer rtsp server pipeline

【发布时间】：2018-05-03 22:18:25

【问题描述】：

我正在尝试将 opencv 图像放入 python 中的 gstreamer rtsp 服务器。 我在 mediafactory 中写作时遇到了一些问题，我是 gst-rtsp-server 的新手，而且文档很少，所以我不知道我是否使用了正确的方法。我正在使用一个线程来启动 MainLoop，并且我正在使用主线程来创建一个缓冲区以推入 mediafactory 管道的 appsrc 元素。我是否使用正确的方法来实现我的目标？谁能帮我？我的代码如下：

from threading import Thread
from time import clock

import cv2
import gi

gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0')
from gi.repository import Gst, GstRtspServer, GObject


class SensorFactory(GstRtspServer.RTSPMediaFactory):
    def __init__(self, **properties):
        super(SensorFactory, self).__init__(**properties)
        self.launch_string = 'appsrc ! video/x-raw,width=320,height=240,framerate=30/1 ' \
                             '! videoconvert ! x264enc speed-preset=ultrafast tune=zerolatency ' \
                             '! rtph264pay config-interval=1 name=pay0 pt=96'
        self.pipeline = Gst.parse_launch(self.launch_string)
        self.appsrc = self.pipeline.get_child_by_index(4)

    def do_create_element(self, url):
        return self.pipeline


class GstServer(GstRtspServer.RTSPServer):
    def __init__(self, **properties):
        super(GstServer, self).__init__(**properties)
        self.factory = SensorFactory()
        self.factory.set_shared(True)
        self.get_mount_points().add_factory("/test", self.factory)
        self.attach(None)


GObject.threads_init()
Gst.init(None)

server = GstServer()

loop = GObject.MainLoop()
th = Thread(target=loop.run)
th.start()

print('Thread started')

cap = cv2.VideoCapture(0)

print(cap.isOpened())

frame_number = 0

fps = 30
duration = 1 / fps

timestamp = clock()

while cap.isOpened():
    ret, frame = cap.read()
    if ret:

        print('Writing buffer')

        data = frame.tostring()

        buf = Gst.Buffer.new_allocate(None, len(data), None)
        buf.fill(0, data)
        buf.duration = fps
        timestamp = clock() - timestamp
        buf.pts = buf.dts = int(timestamp)
        buf.offset = frame_number
        frame_number += 1
        retval = server.factory.appsrc.emit('push-buffer', buf)
        print(retval)

        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

cap.release()

顺便说一句，我试图从 opencv 源代码复制缓冲区创建，但我不确定我是否正确地翻译了 python 中的 c++ 代码。

【参考方案1】：

我找到了解决方案，但很多东西都不见了。

我像 gst-rtsp-server 的示例一样使用了需要数据信号。 我更改了 appsrc 的一些默认参数，例如 is-live、block 和 format。 appsrc 元素上的大写字母。 我没有正确设置缓冲区的偏移量。

这里是任何面临同样问题或有一些问题的人的代码 类似的。

#!/usr/bin/env python3

import cv2
import gi

gi.require_version('Gst', '1.0')
gi.require_version('GstRtspServer', '1.0')
from gi.repository import Gst, GstRtspServer, GObject


class SensorFactory(GstRtspServer.RTSPMediaFactory):
    def __init__(self, **properties):
        super(SensorFactory, self).__init__(**properties)
        self.cap = cv2.VideoCapture(0)
        self.number_frames = 0
        self.fps = 30
        self.duration = 1 / self.fps * Gst.SECOND  # duration of a frame in nanoseconds
        self.launch_string = 'appsrc name=source is-live=true block=true format=GST_FORMAT_TIME ' \
                             'caps=video/x-raw,format=BGR,width=640,height=480,framerate=/1 ' \
                             '! videoconvert ! video/x-raw,format=I420 ' \
                             '! x264enc speed-preset=ultrafast tune=zerolatency ' \
                             '! rtph264pay config-interval=1 name=pay0 pt=96'.format(self.fps)

    def on_need_data(self, src, lenght):
        if self.cap.isOpened():
            ret, frame = self.cap.read()
            if ret:
                data = frame.tostring()
                buf = Gst.Buffer.new_allocate(None, len(data), None)
                buf.fill(0, data)
                buf.duration = self.duration
                timestamp = self.number_frames * self.duration
                buf.pts = buf.dts = int(timestamp)
                buf.offset = timestamp
                self.number_frames += 1
                retval = src.emit('push-buffer', buf)
                print('pushed buffer, frame , duration  ns, durations  s'.format(self.number_frames,
                                                                                       self.duration,
                                                                                       self.duration / Gst.SECOND))
                if retval != Gst.FlowReturn.OK:
                    print(retval)

    def do_create_element(self, url):
        return Gst.parse_launch(self.launch_string)

    def do_configure(self, rtsp_media):
        self.number_frames = 0
        appsrc = rtsp_media.get_element().get_child_by_name('source')
        appsrc.connect('need-data', self.on_need_data)


class GstServer(GstRtspServer.RTSPServer):
    def __init__(self, **properties):
        super(GstServer, self).__init__(**properties)
        self.factory = SensorFactory()
        self.factory.set_shared(True)
        self.get_mount_points().add_factory("/test", self.factory)
        self.attach(None)


GObject.threads_init()
Gst.init(None)

server = GstServer()

loop = GObject.MainLoop()
loop.run()

【讨论】：

我在尝试使用多个客户端时收到Assertion fctx->async_lock failed at libavcodec/pthread_frame.c:155。

如果两个 vlc 正在请求 rtsp 流，它会中断。 number_frames 重置为零

请在***上打开另一个问题并链接它，因为我认为你是唯一有问题的人，需要更多信息，可能其他人可能会从中受益

@GuilhermeCorrea vlc 默认缓冲 5 秒，进入设置并将缓冲降低到 0 毫秒

我建议创建一个新问题，因为它超出了此问题的范围，以防您可以在此处粘贴链接