FFMPEG 将 image2pipe 中的视频与 RTMP 中的音频同步

Posted 2023-03-16

【中文标题】FFMPEG 将 image2pipe 中的视频与 RTMP 中的音频同步

【英文标题】：FFMPEG sync video from image2pipe with audio from RTMP

【发布时间】：2020-11-24 18:33:30

【问题描述】：

我有一个 rtmp url，我需要使用 opencv 放置覆盖并保留音频。

效果很好，除了音视频同步。

用这个命令

ffmpeg -re -y -f image2pipe -i - -i rtmp://192.168.178.32:1935/opencv-hls/test -map 0:v:0 -vcodec libx264 -g 50 -keyint_min 50 -map 1:a:0 -b:a 128k -f mpegts -codec:v mpeg1video -b:v 700k -s 1024x576 -bf 0 -q 1 http://localhost:3000/mystream

我打开一个 image2pipe，在其中发送带有叠加层的帧，并使用 opencv 的相同输入作为 ffmpeg 的第二个命令来获取音频并将所有内容发送到 mpegts url

这是 ffmpeg 输出

ffmpeg version 4.1.4-1build2 Copyright (c) 2000-2019 the FFmpeg developers
  built with gcc 9 (Ubuntu 9.2.1-4ubuntu1)
  configuration: --prefix=/usr --extra-version=1build2 --toolchain=hardened --libdir=/usr/lib/x86_64-linux-gnu --incdir=/usr/include/x86_64-linux-gnu --arch=amd64 --enable-gpl --disable-stripping --enable-avresample --disable-filter=resample --enable-avisynth --enable-gnutls --enable-ladspa --enable-libaom --enable-libass --enable-libbluray --enable-libbs2b --enable-libcaca --enable-libcdio --enable-libcodec2 --enable-libflite --enable-libfontconfig --enable-libfreetype --enable-libfribidi --enable-libgme --enable-libgsm --enable-libjack --enable-libmp3lame --enable-libmysofa --enable-libopenjpeg --enable-libopenmpt --enable-libopus --enable-libpulse --enable-librsvg --enable-librubberband --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libspeex --enable-libssh --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx265 --enable-libxml2 --enable-libxvid --enable-libzmq --enable-libzvbi --enable-lv2 --enable-omx --enable-openal --enable-opengl --enable-sdl2 --enable-libdc1394 --enable-libdrm --enable-libiec61883 --enable-chromaprint --enable-frei0r --enable-libx264 --enable-shared
  libavutil      56. 22.100 / 56. 22.100
  libavcodec     58. 35.100 / 58. 35.100
  libavformat    58. 20.100 / 58. 20.100
  libavdevice    58.  5.100 / 58.  5.100
  libavfilter     7. 40.101 /  7. 40.101
  libavresample   4.  0.  0 /  4.  0.  0
  libswscale      5.  3.100 /  5.  3.100
  libswresample   3.  3.100 /  3.  3.100
  libpostproc    55.  3.100 / 55.  3.100
Input #0, image2pipe, from 'pipe:':
  Duration: N/A, bitrate: N/A
    Stream #0:0: Video: mjpeg, yuvj420p(pc, bt470bg/unknown/unknown), 1024x576 [SAR 1:1 DAR 16:9], 25 fps, 25 tbr, 25 tbn, 25 tbc
Input #1, flv, from 'rtmp://192.168.178.32:1935/opencv-hls/test':
  Metadata:
    Server          : nginx RTMP (github.com/arut/nginx-rtmp-module)
    displayWidth    : 1024
    displayHeight   : 576
    fps             : 0
    profile         : 
    level           : 
  Duration: 00:00:00.00, start: 4.639000, bitrate: N/A
    Stream #1:0: Audio: aac (LC), 44100 Hz, stereo, fltp
    Stream #1:1: Video: h264 (Constrained Baseline), yuv420p(progressive), 1024x576, 29.58 fps, 29.58 tbr, 1k tbn
Stream mapping:
  Stream #0:0 -> #0:0 (mjpeg (native) -> mpeg1video (native))
  Stream #1:0 -> #0:1 (aac (native) -> mp2 (native))
[swscaler @ 0x55f256d63980] deprecated pixel format used, make sure you did set range correctly
Output #0, mpegts, to 'http://localhost:3000/mystream':
  Metadata:
    encoder         : Lavf58.20.100
    Stream #0:0: Video: mpeg1video, yuv420p(progressive), 1024x576 [SAR 1:1 DAR 16:9], q=2-31, 700 kb/s, 25 fps, 90k tbn, 25 tbc
    Metadata:
      encoder         : Lavc58.35.100 mpeg1video
    Side data:
      cpb: bitrate max/min/avg: 0/0/700000 buffer size: 0 vbv_delay: -1
    Stream #0:1: Audio: mp2, 44100 Hz, stereo, s16, 128 kb/s
    Metadata:
      encoder         : Lavc58.35.100 mp2

我总是在音频和视频之间有延迟，并且随着时间的推移而增加。 你知道如何同步它们吗？

谢谢 安德烈亚

【参考方案1】：

对不起，拼写错误，我只是懒得修复它

不确定是否仍然需要，但我遇到了类似的问题；音频比视频晚 1 秒开始，并且随着时间的推移进一步漂移。

在我插入 -vsync 2 后，漂移已修复，因此如果出现重复的时间戳，视频将丢帧（这也可能是帧率问题，请改用 -vsync 1 丢帧或重复帧以达到请求的 fps，或使用-vsync -1，如果您希望ffmpeg 在1 或2 之间自动选择），对我来说，导致看似漂移的不是音频。正是偶然的帧丢失导致了帧时间戳的混乱。

即使很难解决时间戳问题，也有可能音频本身确实在漂移，在这种情况下-af aresample=async=1 -adrift_threshold <time-in-sec> 可能会解决问题，ffmpeg 会丢弃样本以使时间戳匹配，较低的值会执行硬（删除/添加）帧，较高的值将执行软（压缩/拉伸）帧。

如果一开始还有1秒的漂移，可以在音频输入参数前使用-itsoffset <value>手动校正（或者用个性化代码动态），这会启动带偏移量的流，也可以是负值进行反向偏移，使输入比其他输入更早开始。所以在你的情况下，它将是-itsoffset -1。

-frame_drop_threshold <nr. of frame-offset> 也可能是一个有趣的检查参数，但在这种情况下我会使用音频时间戳作为主时间戳，因为视频帧可能会重复它们的时间戳。

https://ffmpeg.org/ffmpeg-all.html#Advanced-options [高级选项 5.11]