ffmpeg av_seek_frame

Posted 2023-03-13

【中文标题】ffmpeg av_seek_frame

【英文标题】：

【发布时间】：2010-10-05 00:34:07

【问题描述】：

我正在尝试使用 ffmpeg 的 av_seek_frame 方法在电影中搜索，但是我在确定如何生成要搜索的时间戳时遇到了最大的麻烦。假设我想向前或向后寻找 x 帧，并且我知道电影当前在哪一帧，我该怎么做？

【问题讨论】：

不能用帧率计算时间偏移吗？

据我了解，时间偏移量需要以 time_base 单位为单位，但我不确定如何将其转换为这些单位（或者即使这是我需要做的）。如果这是我需要做的，我不确定 time_base 的单位是什么（秒、帧、每秒帧数）。

【参考方案1】：

不确定这是否超级准确，但以下内容非常简单并且似乎有效：

int n_seconds = 10; // seek forward 10 seconds
// time_base is in seconds, eg. the time base may be 1/1000th of a second,
// so just multiply by the reciprocal (den = denominator, num = numerator)
int64_t ts = av_rescale(
    n_seconds,
    format_ctx->streams[video_stream_index]->time_base.den,
    format_ctx->streams[video_stream_index]->time_base.num
);
// even though it mentions in docs that you shouldn't use this because it is a
// work in progress, it's been around for more than a decade now, ffplay/ffmpeg/ffprobe
// all use it...it is the most consistent and easiest to use. the way I am using
// it here is to seek to the nearest keyframe (not frame!). I would not recommend
// using it in any other way:
// eg. AVSEEK_FLAG_ANY/FRAME/BACKWARD (BACKWARD is ignored anyways)
// 0 as flag seeks to keyframes only. I have set the max timestamp to the same value so
// that we only look for nearest keyframes behind us
int err = avformat_seek_file(pFormatContext, video_stream_index, 0, ts, ts, 0);

这会寻找最近的关键帧！这可能离你想要的很远。但是，它只会落后于目标时间戳，因此您可以使用 av_read_frame 直到到达您想要的位置，使用 AVframe->pts * AVStream->timebase 来计算帧的时间（使用 av_rescale 来执行此操作)。

另外请注意，如果您需要向后搜索（即您已经使用av_read_frame 阅读的帧后面的帧），或者您将在一个帧上多次调用av_read_frame，您必须发送/receive the packet/frame with avcodec_send_packet 和 avcodec_receive_frame 分别，否则编解码器上下文将不同步（我认为这是问题所在？）。您不能只是空白地读取数据包。在您寻找到您正在阅读的位置后面的新位置之后，您还应该avcodec_flush_buffers（您可能应该在每次寻找时都调用它，但我不确定性能）。

文档参考：

int avformat_seek_file (..., int stream_index, int64_t min_ts, int64_t ts, int64_t max_ts, int flags)

【讨论】：

谢谢！发现重置到流的开头实际上需要3个步骤，比如avcodec_send_packet(video_dec_ctx, NULL) + av_seek_frame(fmt_ctx, video_stream_idx, 0, AVSEEK_FLAG_ANY) +avcodec_flush_buffers(video_dec_ctx);

【参考方案2】：

我是这样做的：

// Duration of one frame in AV_TIME_BASE units
int64_t timeBase;

void open(const char* fpath)
    ...
    timeBase = (int64_t(pCodecCtx->time_base.num) * AV_TIME_BASE) / int64_t(pCodecCtx->time_base.den);
    ...


bool seek(int frameIndex)

    if(!pFormatCtx)
        return false;

    int64_t seekTarget = int64_t(frameIndex) * timeBase;

    if(av_seek_frame(pFormatCtx, -1, seekTarget, AVSEEK_FLAG_ANY) < 0)
        mexErrMsgTxt("av_seek_frame failed.");

AVSEEK_FLAG_ANY 可以搜索每一帧，而不仅仅是关键帧。

【参考方案3】：

简单的答案：你应该有一个 AVFormatContext 对象。它的duration 属性告诉您文件的时间长度，即时间戳乘以 1000 可以在 av_seek_frame 中使用，因此将其视为 100%。然后，您可以计算出您想要在视频中搜索多远。

如果你想前进一帧，只需调用 av_read_frame 和 avcodec_decode_video 直到它用非零值填充 got_picture_ptr。在调用 avcodec_decode_video 之前，请确保来自 av_read_frame 的数据包来自视频流。然后 avcodec_decode_video 将填充 AVFrame 结构，您可以使用它来做任何事情。