将图像编码为 h264 和 rtp 输出：没有 sprop-parameter-sets 的 SDP 文件无法播放

Posted 2023-03-13

技术标签:

【中文标题】将图像编码为 h264 和 rtp 输出：没有 sprop-parameter-sets 的 SDP 文件无法播放【英文标题】：Encoding images to h264 and rtp output: SDP file without sprop-parameter-sets does not play 【发布时间】：2021-11-08 23:22:52 【问题描述】：

tl;dr：我尝试将获取的相机帧编码为 h264，通过 RTP 发送并在另一台设备上播放。 ffmpeg 生成的 SDP 文件示例视频包含我自己的 SDP 文件丢失的信息。我的 SDP 文件在 ffplay 中播放，但不在 VLC 中播放，而两者都播放 ffmpeg 的 SDP 文件。我是怀疑我的 SDP 文件中缺少 sprop-parameter-sets。

最后我想在 VLC 中回放。

我正在编写将图像编码为 h264 并输出到 RTP 的代码服务器（或客户端？无论如何是正在监听的部分）。我生成一个用于此的 SDP 文件。

ffplay 播放流没有问题 mplayer 显示一个绿色盒子嵌入一个更大的黑盒子，但我读到某处它只支持 RTP 上的 mpegts，所以不确定 VLC 不播放 SDP 文件。

现在我使用一些随机视频并让 ffmpeg 输出 SDP 像这样的文件

ffmpeg     -re     -i some.mp4     -an     -c:v copy -f rtp -sdp_file
video.sdp     "rtp://127.0.0.1:5004"

我可以看到生成的 SDP 文件——它在 ffplay 和 VLC – 包括 base64 编码的sprop-parameter-sets 字段，以及删除它会导致流无法播放。

> cat video.sdp
v=0
o=- 0 0 IN IP4 127.0.0.1
s=No Name
c=IN IP4 127.0.0.1
t=0 0
a=tool:libavformat 58.76.100
m=video 5004 RTP/AVP 96
b=AS:1034
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1;
sprop-parameter-sets=Z2QANKzZQDAA7fiMBagICAoAAAMAAgAAAwDwHjBjLA==,aOvjyyLA;
profile-level-id=640034

另一方面，我自己的 SDP 文件不包含此信息，并且 VLC 挂起 10 秒，然后停止尝试“未收到数据”。

> cat test.sdp
v=0
o=- 0 0 IN IP4 127.0.0.1
s=No Name
c=IN IP4 127.0.0.1
t=0 0
a=tool:libavformat 58.76.100
m=video 44499 RTP/AVP 96
b=AS:2000
a=rtpmap:96 H264/90000
a=fmtp:96 packetization-mode=1

所以我的理论是我的自定义代码必须以某种方式添加这个 SPS SDP 文件中的信息。但尽管搜索了几个小时，我可以找不到在AVStream 上设置额外数据字段的结构化方法 AVCodecParams。我使用的代码大致是这样的（我确定有不相关的错误）：

// variables
std::vector<std::uint8_t> imgbuf;
AVFormatContext *ofmt_ctx = nullptr;
AVCodec *out_codec = nullptr;
AVStream *out_stream = nullptr;
AVCodecContext *out_codec_ctx = nullptr;
SwsContext *swsctx = nullptr;
cv::Mat canvas_;
unsigned int height_;
unsigned int width_;
unsigned int fps_;
AVFrame *frame_ = nullptr;

AVOutputFormat *format = av_guess_format("rtp", nullptr, nullptr);
const auto url = std::string("rtp://127.0.0.1:5001");
avformat_alloc_output_context2(ofmt_ctx, format, format->name, url.c_str());

out_codec = avcodec_find_encoder(AV_CODEC_ID_H264);
stream = avformat_new_stream(ofmt_ctx, out_codec);
out_codec_ctx = avcodec_alloc_context3(out_codec);

// then, for each incoming image:
while (receive_image) 
  static bool first_time = true;
  if (first_time) 
    // discover necessary params such as image dimensions from the first
    // received image
    first_time = false;
    height_ = image.rows;
    width_ = image.cols;

    codec_ctx->codec_tag = 0;
    codec_ctx->bit_rate = 2e6;
    // does nothing, unfortunately
    codec_ctx->thread_count = 1;
    codec_ctx->codec_id = AV_CODEC_ID_H264;
    codec_ctx->codec_type = AVMEDIA_TYPE_VIDEO;
    codec_ctx->width = width_;
    codec_ctx->height = height_;
    codec_ctx->gop_size = 6;
    codec_ctx->pix_fmt = AV_PIX_FMT_YUV420P;
    codec_ctx->framerate = fps_;
    codec_ctx->time_base = av_inv_q(fps_);

    avcodec_parameters_from_context(stream, out_codec_ctx);

    // this stuff is empty: is that the problem?
    stream->codecpar->extradata = codec_ctx->extradata;
    stream->codecpar->extradata_size = codec_ctx->extradata_size;

    AVDictionary *codec_options = nullptr;
    av_dict_set(&codec_options, "profile", "high", 0);
    av_dict_set(&codec_options, "preset", "ultrafast", 0);
    av_dict_set(&codec_options, "tune", "zerolatency", 0);

    // open video encoder
    avcodec_open2(codec_ctx, codec, &codec_options);

    stream->time_base.num = 1;
    stream->time_base.den = fps_;
    avio_open(&(ofmt_ctx->pb), ofmt_ctx->filename, AVIO_FLAG_WRITE);

    /* Write a file for VLC */
    char buf[200000];
    AVFormatContext *ac[] = ofmt_ctx;
    av_sdp_create(ac, 1, buf, 20000);
    printf("sdp:\n%s\n", buf);
    FILE *fsdp = fopen("test.sdp", "w");
    fprintf(fsdp, "%s", buf);
    fclose(fsdp);

    swsctx = sws_getContext(width_, height_, AV_PIX_FMT_BGR24, width_, height_,
                            out_codec_ctx->pix_fmt, SWS_BICUBIC, nullptr,
                            nullptr, nullptr);
  

  if (!frame_) 
    frame_ = av_frame_alloc();

    std::uint8_t *framebuf = new uint8_t[av_image_get_buffer_size(
        codec_ctx->pix_fmt, width_, height_, 1)];
    av_image_fill_arrays(frame_->data, frame_->linesize, framebuf,
                         codec_ctx->pix_fmt, width, height, 1);
    frame_->width = width_;
    frame_->height = height_;
    frame_->format = static_cast<int>(codec_ctx->pix_fmt);
    success = avformat_write_header(ofmt_ctx, nullptr);
  
  if (imgbuf.empty()) 
    imgbuf.resize(height_ * width_ * 3 + 16);
    canvas_ = cv::Mat(height_, width_, CV_8UC3, imgbuf.data(), width_ * 3);
   else 
    image.copyTo(canvas_);
  

  const int stride[] = static_cast<int>(image.step[0]);

  sws_scale(swsctx, &canvas_.data, stride, 0, canvas_.rows, frame_->data,
            frame_->linesize);
  frame_->pts += av_rescale_q(1, out_codec_ctx->time_base, stream->time_base);

  AVPacket pkt = 0;
  avcodec_send_frame(out_codec_ctx, frame_);
  avcodec_receive_packet(out_codec_ctx, &pkt);
  av_interleaved_write_frame(ofmt_ctx, &pkt);

有人可以在这里提供一些建议吗？

更新

设置时

this->out_codec_ctx->flags |=AV_CODEC_FLAG_GLOBAL_HEADER;

extradata 实际上存在于编解码器上下文中，但我不得不在avcodec_open2() 之后移动avcodec_parameters_from_context()，因为在打开编解码器之前，extradata 是空的。我现在在 SDP 文件中得到sprop-parameter-sets，但 VLC 仍然无法播放。

【问题讨论】：

【参考方案1】：

我的解决方案是端口号 (???)。显然，VLC 无法从我使用的端口 44499 接收，但 5004 就像 ffmpeg 示例一样有效。我不知道这是 MacOS 的特性还是转移到了 linux。

我尝试了几个端口：

5001 不起作用 5002 作品 5003 不起作用 5004 作品 5005 不起作用 5006 件作品 44498 作品

那么看来VLC要接收RTP数据包，端口号必须是偶数？瓦？

解释好像是live555丢弃了端口号的lsb：https://github.com/rgaufman/live555/blob/master/liveMedia/MediaSession.cpp#L696

因此，只有端口才能保持不变。这是在RFC 中推荐或强制执行的：