多媒体视频开发_(30)使用ffmpeg在视频中进行抽帧

Posted 2023-04-04 hairuiJY

基于ffmeg进行抽帧共有四种方式：

• 抽取视频关键帧(I/P/B)
• 抽取视频场景转换帧
• 根据时间进行均匀抽帧
• 抽取指定时间的视频帧

1.抽取视频关键帧(IPB):

视频关键帧（Video Keyframes）是用于视频压缩和视频编解码的帧，视频关键帧是包含了完整信息的帧，其他的非关键帧将会使用与关键帧的差值进行压缩。视频帧具体可以分为IPB帧三种：
I帧表示关键帧，是最完整的帧画面，一般视频封面都选择I帧；
P帧单预测帧，利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码；
B帧双向预测帧，利用双向帧进行预测编码；
一般情况下关键帧I帧是信息最多的帧，也是用途最多的帧。在视频检索和视频分类任务中一般都借助I帧来完成，I帧数量少包含的信息却是最多的。

使用ffprobe提取出IPB帧的时间：

ffprobe -i 666051400.mp4 -v quiet -select_streams v -show_entries frame=pkt_pts_time,pict_type

使用ffmpeg抽取IPB帧到jpg图片：

# 抽取I帧
ffmpeg -i 666051400.mp4 -vf "select=eq(pict_type\\,I)"  -vsync vfr -qscale:v 2 -f image2 ./%08d.jpg
# 抽取P帧
ffmpeg -i 666051400.mp4 -vf "select=eq(pict_type\\,P)"  -vsync vfr -qscale:v 2 -f image2 ./%08d.jpg
# 抽取B帧
ffmpeg -i 666051400.mp4 -vf "select=eq(pict_type\\,B)"  -vsync vfr -qscale:v 2 -f image2 ./%08d.jpg

由于ffmpeg抽取帧并无法按照时间戳来命名，需要手动将ffprobe提取出来的帧时间与抽取帧的图片进行对应重命名。

2. 抽取视频场景转换帧

在视频中可以按照视频的镜头切换可以将视频分为不同的场景（scene boundarie）。视频场景抽取算法一般是使用帧间的相似差异程度来衡量，如果视频帧大于某一个阈值则认为是一个新的场景，否则不是一个新的场景。

使用ffmpeg抽取视频场景转换帧的命令：

# 其中0.1表示帧为新场景的概率
ffmpeg -i 666051400.mp4 -filter:v "select='gt(scene,0.1)',showinfo" -f null - 2>&1

3. 均匀抽帧

通过ffmpeg根据时间均匀抽帧的命令行：

# -r 指定抽取的帧率，即从视频中每秒钟抽取图片的数量。1代表每秒抽取一帧。
ffmpeg -i 666051400.mp4 -r 1 -q:v 2 -f image2 ./%08d.000000.jpg

4. 抽取制定时间的帧

通过ffmepg抽取指定时间的帧：

# 耗时0.07s
ffmpeg -ss 00:00:30 -i 666051400.mp4 -vframes 1 0.jpg
# 耗时0.68s
ffmpeg -i 666051400.mp4 -ss 00:00:30  -vframes 1 0.jpg

ffmpeg -i input.mp4 -ss 1:05 -t 10 output.mp4
ffmpeg -ss 1:05 -i input.mp4 -t 10 -c:v copy -c:a copy output.mp4

-ss 5指定从输入视频第1:05秒开始截取，-t 10指明最多截取10秒;
把-ss 1:05放到-i前面，与原来的区别是，这样会先跳转到第1:05秒在开始解码输入视频，而原来的会从开始解码，只是丢弃掉前1:05秒的结果。
-c:v 和 -c:a分别指定视频和音频的编码格式。
-c:v copy -c:a copy标示视频与音频的编码不发生改变，而是直接复制，这样会大大提升速度。

ffmpeg音视频开发: 使用ffprobe获取媒体信息

一、环境介绍

操作系统: win10 64位

ffmpge:  4.2.2 (官网下载的可执行文件命令) 

win32下使用FFMPEG 4.2.2库下载地址：https://download.csdn.net/download/xiaolong1126626497/12321684

二、ffprobe用法

2.1 基本使用: 查看媒体信息

用法：

C:/FFMPEG/ffmpeg_x86_4.2.2/bin/ffprobe.exe -i .\\jiyi.mp4

示例：

PS D:\\> C:/FFMPEG/ffmpeg_x86_4.2.2/bin/ffprobe.exe -i .\\jiyi.mp4
ffprobe version 4.2.2 Copyright (c) 2007-2019 the FFmpeg developers
  built with gcc 9.2.1 (GCC) 20200122
  configuration: --disable-static --enable-shared --enable-gpl --enable-version3 --enable-sdl2 --enable-fontconfig --enable-gnutls --enable-iconv --enable-libass --enable-libdav1d --enable-libbluray --enable-libfreetype --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libopus --enable-libshine --enable-libsnappy --enable-libsoxr --enable-libtheora --enable-libtwolame --enable-libvpx --enable-libwavpack --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libzimg --enable-lzma --enable-zlib --enable-gmp --enable-libvidstab --enable-libvorbis --enable-libvo-amrwbenc --enable-libmysofa --enable-libspeex --enable-libxvid --enable-libaom --enable-libmfx --enable-amf --enable-ffnvcodec --enable-cuvid --enable-d3d11va --enable-nvenc --enable-nvdec --enable-dxva2 --enable-avisynth --enable-libopenmpt
  libavutil      56. 31.100 / 56. 31.100
  libavcodec     58. 54.100 / 58. 54.100
  libavformat    58. 29.100 / 58. 29.100
  libavdevice    58.  8.100 / 58.  8.100
  libavfilter     7. 57.100 /  7. 57.100
  libswscale      5.  5.100 /  5.  5.100
  libswresample   3.  5.100 /  3.  5.100
  libpostproc    55.  5.100 / 55.  5.100
Input #0, mov,mp4,m4a,3gp,3g2,mj2, from '.\\jiyi.mp4':
  Metadata:
    major_brand     : isom
    minor_version   : 512
    compatible_brands: isomiso2avc1mp41
    encoder         : Lavf58.29.100
  Duration: 00:00:54.15, start: 0.000000, bitrate: 574 kb/s
    Stream #0:0(und): Video: h264 (High) (avc1 / 0x31637661), yuv420p(tv, bt709), 960x544, 518 kb/s, 29.97 fps, 29.97 tbr, 19200 tbn, 38400 tbc (default)
    Metadata:
      handler_name    : Core Media Video
    Stream #0:1(und): Audio: aac (LC) (mp4a / 0x6134706D), 44100 Hz, mono, fltp, 47 kb/s (default)
    Metadata:
      handler_name    : Core Media Audio
PS D:\\>

2.2  使用JSON格式输出信息

 用法：

C:/FFMPEG/ffmpeg_x86_4.2.2/bin/ffprobe.exe -v quiet -of json -i .\\jiyi.mp4  -show_streams

示例:

PS D:\\> C:/FFMPEG/ffmpeg_x86_4.2.2/bin/ffprobe.exe -v quiet -of json -i .\\jiyi.mp4  -show_streams
{
    "streams": [
        {
            "index": 0,
            "codec_name": "h264",
            "codec_long_name": "H.264 / AVC / MPEG-4 AVC / MPEG-4 part 10",
            "profile": "High",
            "codec_type": "video",
            "codec_time_base": "8123/486900",
            "codec_tag_string": "avc1",
            "codec_tag": "0x31637661",
            "width": 960,
            "height": 544,
            "coded_width": 960,
            "coded_height": 544,
            "has_b_frames": 1,
            "pix_fmt": "yuv420p",
            "level": 31,
            "color_range": "tv",
            "color_space": "bt709",
            "color_transfer": "bt709",
            "color_primaries": "bt709",
            "chroma_location": "left",
            "refs": 1,
            "is_avc": "true",
            "nal_length_size": "4",
            "r_frame_rate": "30000/1001",
            "avg_frame_rate": "243450/8123",
            "time_base": "1/19200",
            "start_pts": 0,
            "start_time": "0.000000",
            "duration_ts": 1039744,
            "duration": "54.153333",
            "bit_rate": "518796",
            "bits_per_raw_sample": "8",
            "nb_frames": "1623",
            "disposition": {
                "default": 1,
                "dub": 0,
                "original": 0,
                "comment": 0,
                "lyrics": 0,
                "karaoke": 0,
                "forced": 0,
                "hearing_impaired": 0,
                "visual_impaired": 0,
                "clean_effects": 0,
                "attached_pic": 0,
                "timed_thumbnails": 0
            },
            "tags": {
                "language": "und",
                "handler_name": "Core Media Video"
            }
        },
        {
            "index": 1,
            "codec_name": "aac",
            "codec_long_name": "AAC (Advanced Audio Coding)",
            "profile": "LC",
            "codec_type": "audio",
            "codec_time_base": "1/44100",
            "codec_tag_string": "mp4a",
            "codec_tag": "0x6134706d",
            "sample_fmt": "fltp",
            "sample_rate": "44100",
            "channels": 1,
            "channel_layout": "mono",
            "bits_per_sample": 0,
            "r_frame_rate": "0/0",
            "avg_frame_rate": "0/0",
            "time_base": "1/44100",
            "start_pts": 0,
            "start_time": "0.000000",
            "duration_ts": 2387471,
            "duration": "54.137664",
            "bit_rate": "47025",
            "max_bit_rate": "47025",
            "nb_frames": "2332",
            "disposition": {
                "default": 1,
                "dub": 0,
                "original": 0,
                "comment": 0,
                "lyrics": 0,
                "karaoke": 0,
                "forced": 0,
                "hearing_impaired": 0,
                "visual_impaired": 0,
                "clean_effects": 0,
                "attached_pic": 0,
                "timed_thumbnails": 0
            },
            "tags": {
                "language": "und",
                "handler_name": "Core Media Audio"
            }
        }
    ]
}
PS D:\\>