ffmpeg mp4box制作dash流

Posted 2023-05-07 天道小黑屋

1、检查源文件视频/音频，看是否需重编码，chrome能支持常见的h264/h265/vp9/av1，h265视乎显卡是否支持硬解和浏览器的版本是否足够新，音频方面aac/opus都可支持的如是ac3 dts的就需转码了。

2、假设源文件不需重编码，那么该分辨率不需转码，也不需拆分视频/音频，再用ffmpeg转其它分辨率就可以了，参考

ffmpeg -i video.mp4 -s 1920x1080 -c:v libx264 -keyint_min 30 -g 30 -an -sc_threshold 0 ED1920x1080.mp4

把libx264改为libx265就可以用h265编码了，-keyint_min 30这个是指定最小关键帧间隔，-g 30是指一组帧，这里可参考源视频的帧数。-sc_threshold 0 是禁用场景转换时自动插关键帧，都是与切分段就帧对齐有关的，如是h265 -sc_threshold 0 选项是不起效的，好像是不需要这个参数。-an 是不要音频，所以转出来的没有声音。

3、生成dash流，参考

MP4Box -dash 10000 -rap -frag-rap -dash-profile dashavc264:onDemand -init-segment-ext m4s -bs-switching no vidoe.mp4#video ED1920x1080.mp4#video video.mp4#audio zh-cn.vtt:role=subtitle:lang=简体中文 eng.vtt:role=subtitle:lang=英语 -out dash-mpd.mpd --rawsub

dash 10000指分段时间，这里是10s，因为分段下载有个加速过程，切太小影响连续速度，-rap -frag-rap这两个参数可在质量切换时更为平滑，dashavc264:onDemand指使用内置模版，-init-segment-ext m4s指init文件扩展名指定为m4s与一般mp4分文件区分，默认是mp4扩展名的，-bs-switching no指初始文件分段文件的分配之类的，vidoe.mp4#video指采用文件的第一个视频，ED1920x1080.mp4#video也是这样,video.mp4#audio这里是采用第一个音频，zh-cn.vtt:role=subtitle:lang=简体中文 eng.vtt:role=subtitle:lang=英语 这里是设定字幕，--rawsub是指字幕采用原文件。

FFMPEG/DASH-LL 以不同的速率创建音频和视频块；玩家很困惑（404错误）

【中文标题】FFMPEG/DASH-LL 以不同的速率创建音频和视频块；玩家很困惑（404错误）

【英文标题】：FFMPEG/DASH-LL creates audio and video chunks at different rates; player is confused (404 errors)

【发布时间】：2021-05-24 15:28:03

【问题描述】：

我正在尝试从静态文件创建 MPEG-DASH“实时”流，以测试各种低延迟模式。 FFmpeg 中的 DASH muxer 创建了两个 AdaptationSet，一个用于视频块，一个用于音频块。

但是，音频和视频块文件的创建速度不同（应该是这样吗？）。即，这里stream0 是视频块，stream1 是音频块。运行几秒后，webroot目录包含：

chunk-stream0-00001.m4s  chunk-stream1-00001.m4s  
chunk-stream0-00002.m4s  chunk-stream1-00002.m4s  
chunk-stream0-00003.m4s  chunk-stream1-00003.m4s  
chunk-stream0-00004.m4s  chunk-stream1-00004.m4s  
                         chunk-stream1-00005.m4s  
                         chunk-stream1-00006.m4s  
                         chunk-stream1-00007.m4s  
                         chunk-stream1-00008.m4s  
                         chunk-stream1-00009.m4s  
master.mpd  
init-stream0.m4s  
init-stream1.m4s  

流不会在 dash.js 或 shaka-player 上加载（或播放），并且视频块有很多 404 (Not Found) 错误。播放器依次向stream0和stream1请求块，即stream0-001 + stream1-001，然后是stream0-002 + stream1-002，以此类推。

但由于 stream0 仅从 001 到 004，因此在尝试加载 stream0-005 到 009 时会出现很多 404 错误。

让FFmpeg运行一段时间后差距变大。例如，stream0 是 62 到 75，但 stream1 是 174 到 187。此时重新加载播放器页面失败并显示 dash.all.debug.js:15615 [2055][FragmentController] No video bytes to push or stream is inactive. 并显示 404 错误 stream0 chunk 188（尚不存在！）

FFmpeg 命令取自DASH streaming from the top-down:

ffmpeg -re -i /mnt/swdevel/TestStreams/H264/ThreeHourMovie.mp4 \
-c:v libx264 -x264-params keyint=120:scenecut=0 -b:v 1M -c:a copy \
-f dash -dash_segment_type mp4 \
 -seg_duration 2 \
 -target_latency 3 \
 -frag_type duration \
 -frag_duration 0.2 \
 -window_size 10 \
 -extra_window_size 3 \
 -streaming 1 \
 -ldash 1 \
 -use_template 1 \
 -use_timeline 0 \
 -write_prft 1 \
 -fflags +nobuffer+flush_packets \
 -format_options "movflags=+cmaf" \
 -utc_timing_url "/pelican/testPlayers/time.php" \
 master.mpd

而dash.js播放器代码非常简单：

const srcUrl = "../ottWebRoot/playerTest/master.mpd"; 

var player = dashjs.MediaPlayer().create();

let autoPlay = false;
player.initialize(document.querySelector("#videoTagId"), srcUrl, autoPlay);

player.updateSettings(

    streaming :
    
        lowLatencyEnabled : true,
        liveDelay : 2,
        jumpGaps : true,
        jumpLargeGaps : true,
        smallGapLimit : 1.5,
    
);

为了在清单中提供UTCTiming 元素，小的time.php URL 从网络服务器返回一个UTC 时间：

<?php
    print gmdate("Y-m-d\TH:i:s\Z");
?>

（它还显示最新 stream1/audio 块的 404 错误，这可能是不同的问题）

我不确定接下来要尝试什么。任何和建议都非常感谢。

编辑我

@Anonymous Coward 更改键间隔的建议改善了很多。 stream0 和 stream1 的块是同步的，并且具有相同的序列号。

但是，在初始页面加载（不按播放）和播放过程中仍然存在许多 404 错误。

我运行watch -n 1 ls -lt <webRootFolder 并与浏览器控制台中的错误并排比较。很难比较，但 看起来 浏览器正在尝试“在播放边缘”获取尚未由 FFmpeg 创建的文件。见下图。

如何指示浏览器在获取边缘块之前稍等片刻？

编辑二

使用shaka-player 代替dash.js 可以正常播放，不会出现404 错误。配置为：

    player.configure(
    
        streaming: 
        
            lowLatencyMode: true,
            inaccurateManifestTolerance: 0,
            rebufferingGoal: 0.1,
        
        
    );

客户

MacOS 10.12 dash.js 最新 3.2.2 Chrome 79、Safari 12、FireFox v?

服务器

Apache 2.4.37 PHP 7.2.4（仅限时间函数） Centos 8

（供参考，这里是FFmpeg生成的mpd文件）

<?xml version="1.0" encoding="utf-8"?>
<MPD xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns="urn:mpeg:dash:schema:mpd:2011"
    xmlns:xlink="http://www.w3.org/1999/xlink"
    xsi:schemaLocation="urn:mpeg:DASH:schema:MPD:2011 http://standards.iso.org/ittf/PubliclyAvailableStandards/MPEG-DASH_schema_files/DASH-MPD.xsd"
    profiles="urn:mpeg:dash:profile:isoff-live:2011"
    type="dynamic"
    minimumUpdatePeriod="PT500S"
    availabilityStartTime="2021-05-24T14:50:00.263Z"
    publishTime="2021-05-24T15:22:45.335Z"
    timeShiftBufferDepth="PT50.0S"
    maxSegmentDuration="PT2.0S"
    minBufferTime="PT5.0S">
    <ProgramInformation>
    </ProgramInformation>
    <ServiceDescription id="0">
        <Latency target="3000" referenceId="0"/>
    </ServiceDescription>
    <Period id="0" start="PT0.0S">
        <AdaptationSet id="0" contentType="video" startWithSAP="1" segmentAlignment="true" bitstreamSwitching="true" frameRate="24/1" maxWidth="1280" maxHeight="682" par="15:8" lang="und">
            <Resync dT="200000" type="0"/>
            <Representation id="0" mimeType="video/mp4" codecs="avc1.64081f" band   sar="1023:1024">
                <ProducerReferenceTime id="0" inband="true" type="captured" wallClockTime="2021-05-24T14:50:00.263Z" presentationTime="0">
                    <UTCTiming schemeIdUri="urn:mpeg:dash:utc:http-xsdate:2014" value="/pelican/testPlayers/time.php"/>
                </ProducerReferenceTime>
                <Resync dT="5000000" type="1"/>
                <SegmentTemplate timescale="1000000" duration="2000000" availabilityTimeOffset="1.800" availabilityTimeComplete="false" initialization="init-stream$RepresentationID$.m4s" media="chunk-stream$RepresentationID$-$Number%05d$.m4s" startNumber="1">
                </SegmentTemplate>
            </Representation>
        </AdaptationSet>
        <AdaptationSet id="1" contentType="audio" startWithSAP="1" segmentAlignment="true" bitstreamSwitching="true" lang="und">
            <Resync dT="200000" type="0"/>
            <Representation id="1" mimeType="audio/mp4" codecs="mp4a.40.2" band audioSamplingRate="48000">
                <AudioChannelConfiguration schemeIdUri="urn:mpeg:dash:23003:3:audio_channel_configuration:2011" value="2" />
                <ProducerReferenceTime id="1" inband="true" type="captured" wallClockTime="2021-05-24T14:50:00.306Z" presentationTime="0">
                    <UTCTiming schemeIdUri="urn:mpeg:dash:utc:http-xsdate:2014" value="/pelican/testPlayers/time.php"/>
                </ProducerReferenceTime>
                <Resync dT="21333" type="1"/>
                <SegmentTemplate timescale="1000000" duration="2000000" availabilityTimeOffset="1.800" availabilityTimeComplete="false" initialization="init-stream$RepresentationID$.m4s" media="chunk-stream$RepresentationID$-$Number%05d$.m4s" startNumber="1">
                </SegmentTemplate>
            </Representation>
        </AdaptationSet>
    </Period>
    <UTCTiming schemeIdUri="urn:mpeg:dash:utc:http-xsdate:2014" value="/pelican/testPlayers/time.php"/>
</MPD>

【问题讨论】：

如果它在 Shaka 而不是 dash.js 中播放，最好向 dash.js 团队提出一个错误，因为我知道他们在 LL-DASH 上努力工作：github.com/Dash-Industry-Forum/dash.js/issues/new/choose跨度>

【参考方案1】：

输入 ThreeHourMovie.mp4 的帧速率为 24Hz（请参阅 AdaptationSet@frameRate），因此将 keyint 设置为 120 将在 x264 的输出端每 5 秒给出一个 IDR。

您正在指示 DASH 多路复用器（通过 seg_duration）输出和发送信号 2s 段，但这是不可能的，因为段必须以 IDR 开头（如您链接的指南中所述）。所以复用器输出 5s 段，但在 manifest 中发出 2s 信号，这显然是不正确的。

将keyint 更改为seg_duration 的正确倍数（即在本例中为keyint=48），它可能会开始工作。

【讨论】：

谢谢！这改善了很多。但是，在获取“边缘”文件时仍然存在 404 错误问题。请参阅主要问题中的 EDIT I。有什么建议吗？

我在播放器中更改了liveDelay，但还是一样...

【参考方案2】：

我在 Exoplayer 上观察到了同样的情况。但是，如果我设置值 "-use_timeline 1"问题不存在了。但是，将 use_timeline 设置为 1 时，模板上不会有部分片段。我不确定这是 ffmpeg 的错误。