如何运行命令行 FFMPEG 并接受多个管道（视频和音频）而不阻塞第一个输入？

Posted 2023-03-13

【中文标题】如何运行命令行 FFMPEG 并接受多个管道（视频和音频）而不阻塞第一个输入？

【英文标题】：How can I run command line FFMPEG and accept multiple pipes (video and audio) without blocking on the first input?

【发布时间】：2016-05-29 21:49:37

【问题描述】：

我正在尝试使用 FFMPEG 混合使用 MediaCodec 创建的 h264 和 aac，并使用 FFMPEG 的 RTMP 支持发送到 youtube。我创建了两个管道，并且正在通过 WriteableByteChannels 从 java (android) 写入。我可以像这样发送到一个管道（接受空音频）：

./ffmpeg -f lavfi -i aevalsrc=0 -i "files/camera-test.h264" -acodec aac -vcodec copy -bufsize 512k -f flv "rtmp://a.rtmp.youtube.com/live2/XXXX"

YouTube 流媒体完美运行（但我没有音频）。使用两个管道这是我的命令：

./ffmpeg \
-i "files/camera-test.h264" \
-i "files/audio-test.aac" \
-vcodec copy \
-acodec copy \
-map 0:v:0 -map 1:a:0 \
-f flv "rtmp://a.rtmp.youtube.com/live2/XXXX""

管道是用 mkfifo 创建的，并像这样从 java 打开：

pipeWriterVideo = Channels.newChannel(new FileOutputStream(outputFileVideo.toString()));

执行顺序（目前在我的测试阶段）是创建文件，启动 ffmpeg（通过 adb shell），然后开始录制打开通道。 ffmpeg 将立即打开 h264 流然后等待，因为它正在从管道读取第一个打开的通道（用于视频）将成功运行。当尝试以相同的方式打开音频时，它会失败，因为 ffmpeg 实际上还没有开始从管道中读取。我可以打开第二个终端窗口并捕获音频文件，我的应用程序会吐出我希望编码为 aac 的内容，但 ffmpeg 失败，通常只是坐在那里等待。这是详细的输出：

ffmpeg version N-78385-g855d9d2 Copyright (c) 2000-2016 the FFmpeg
developers
  built with gcc 4.8 (GCC)
  configuration: --prefix=/home/dev/svn/android-ffmpeg-with-rtmp/src/ffmpeg/android/arm 
    --enable-shared --disable-static --disable-doc --disable-ffplay 
    --disable-ffprobe --disable-ffserver --disable-symver 
    --cross-prefix=/home/dev/dev/android-ndk-r10e/toolchains/arm-linux-androideabi-4.8/prebuilt/linux-x86_64/bin/arm-linux-androideabi- 
    --target-os=linux --arch=arm --enable-cross-compile 
    --enable-librtmp --enable-pic --enable-decoder=h264 
    --sysroot=/home/dev/dev/android-ndk-r10e/platforms/android-19/arch-arm 
    --extra-cflags='-Os -fpic -marm' 
    --extra-ldflags='-L/home/dev/svn/android-ffmpeg-with-rtmp/src/openssl-android/libs/armeabi ' 
    --extra-ldexeflags=-pie --pkg-config=/usr/bin/pkg-config
  libavutil      55. 17.100 / 55. 17.100
  libavcodec     57. 24.102 / 57. 24.102
  libavformat    57. 25.100 / 57. 25.100
  libavdevice    57.  0.101 / 57.  0.101
  libavfilter     6. 31.100 /  6. 31.100
  libswscale      4.  0.100 /  4.  0.100
  libswresample   2.  0.101 /  2.  0.101
 matched as AVOption 'debug' with argument 'verbose'.
Trailing options were found on the commandline.
Finished splitting the commandline.
Parsing a group of options: global .
Applying option async (audio sync method) with argument 1.
Successfully parsed a group of options.
Parsing a group of options: input file files/camera-test.h264.
Successfully parsed a group of options.
Opening an input file: files/camera-test.h264.
[file @ 0xb503b100] Setting default whitelist 'file'

我想如果我可以让 ffmpeg 开始监听两个管道，其余的都会解决！

感谢您的宝贵时间。

编辑： 我通过解耦音频管道连接和编码取得了进展，但现在一旦视频流通过，它就会在音频上出错。我启动了一个单独的线程来为音频创建 WriteableByteChannel，但它从未通过 FileOutputStream 创建。

matched as AVOption 'debug' with argument 'verbose'.
Trailing options were found on the commandline.
Finished splitting the commandline.
Parsing a group of options: global .
Successfully parsed a group of options.
Parsing a group of options: input file files/camera-test.h264.
Successfully parsed a group of options.
Opening an input file: files/camera-test.h264.
[file @ 0xb503b100] Setting default whitelist 'file'
[h264 @ 0xb503c400] Format h264 probed with size=2048 and score=51
[h264 @ 0xb503c400] Before avformat_find_stream_info() pos: 0 bytes read:15719 seeks:0
[h264 @ 0xb5027400] Current profile doesn't provide more RBSP data in PPS, skipping
[h264 @ 0xb503c400] max_analyze_duration 5000000 reached at 5000000 microseconds st:0
[h264 @ 0xb503c400] After avformat_find_stream_info() pos: 545242 bytes read:546928 seeks:0 frames:127
Input #0, h264, from 'files/camera-test.h264':
  Duration: N/A, bitrate: N/A
    Stream #0:0, 127, 1/1200000: Video: h264 (Baseline), 1 reference frame, yuv420p(left), 854x480 (864x480), 1/50, 25 fps, 25 tbr, 1200k tbn, 50 tbc
Successfully opened the file.
Parsing a group of options: input file files/audio-test.aac.
Applying option vcodec (force video codec ('copy' to copy stream)) with argument copy.
Successfully parsed a group of options.
Opening an input file: files/audio-test.aac.
Unknown decoder 'copy'
[AVIOContext @ 0xb5054020] Statistics: 546928 bytes read, 0 seeks

这是我尝试打开音频管道的地方。

new Thread()
     public void run()
          Log.d("Audio", "pre thread");
          FileOutputStream fs = null;
          try 
               fs = new FileOutputStream("/data/data/android.com.android.grafika/files/audio-test.aac");
           catch (FileNotFoundException e) 
               e.printStackTrace();
          
          Log.d("Audio", "made fileoutputstream");  //never hits here
          mVideoEncoder.pipeWriterAudio = Channels.newChannel(fs);
          Log.d("Audio", "made it past opening audio pipe");
     
.start();

谢谢。

【问题讨论】：

你需要配对-acodec ... -i filename -vcodec -i filename吗？ .同样在详细输出中，您能否按照--option 包装配置行，非常难以阅读。祝你好运。

我不这么认为，我见过很多最后带有编解码器标志的示例。我刚刚尝试过，我得到了相同的输出。我想知道我是否需要尝试完全独立地流式传输音频和视频通道（也许如果第一个管道上存在活动视频流，它将继续到第二个管道？？）。我会尝试为此调整我的代码。

由于您没有任何真正的回应，我会寻找更具体的音频处理网站，甚至是 ffmpeg 的具体网站。我很确定有一个“官方” ffmpeg 论坛，您可以在其中得到明确的答案。感谢您的编辑。祝你好运！

【参考方案1】：

你的解释不是很清楚，我可以看到你试图准确地解释你在做什么，但它不起作用。

首先：您能否描述一下实际问题。我必须把你的帖子读到一半，变成一个 8 行的段落，看起来你在暗示 ffmpeg 挂起。是这个问题吗？你真的很想明确这一点。

其次：如何将数据通过管道传输到 FIFO？这很重要。您的帖子完全不清楚，您似乎建议 ffmpeg 读取整个视频文件，然后移至音频。那是对的吗？还是两个流同时馈送到 ffmpeg？

最后：如果 ffmpeg 挂起，很可能是因为您的输入管道之一阻塞（您正在将数据推送到 FIFO-1 并且缓冲区已满，但 ffmpeg 想要来自 FIFO-2 的数据且缓冲区为空）。两个 FIFO 都需要始终独立填充数据。

【讨论】：

感谢您的反馈，抱歉我不清楚。我想我有两个问题，但它们可能是相关的。 1：我无法打开音频 FIFO，2：ffmpeg 正在停止查看视频 FIFO。该过程是（曾经）使用上面的命令启动 ffmpeg，然后在应用程序中打开 FIFO 进行写入（首先是视频，然后是音频）。我认为 ffmpeg 在进入第二个输入之前希望管道中有视频数据。我目前正在研究解耦编码器代码，以便我可以立即将视频写入管道（稍后我会担心同步）。这清楚了吗？

并非如此。您仍然在谈论单个 FIFO，就好像您在一个一个地填充它们一样。你不应该。两个 FIFO 必须始终独立地连续填充数据（即通常线程化左右）。

Unknown decoder 'copy' - 建议您将 -c:v（或 -vcodec）放在最后一个 -i 参数之前，这意味着它应用于输入，而不是输出。您使用的确切 ffmpeg 命令行是什么？

感谢 Ronald，我现在可以从两个管道进行流式传输。我认为我的 aac 编码很糟糕，但我用 16 位 pcm 替换它并在 ffmpeg 中编码为 aac，我能够将音频流式传输到 YouTube 就好了。你真的帮了我大忙！

@Version135b 我也遇到了同样的问题，你能分享一下你的解决方案吗？