MediaFoundation中是不是有实时混音效果或MFT？

Posted 2023-02-16

【中文标题】MediaFoundation中是不是有实时混音效果或MFT？

【英文标题】：Is there a real-time audio mixing effect or MFT in MediaFoundation?MediaFoundation中是否有实时混音效果或MFT？

【发布时间】：2020-10-23 15:28:36

【问题描述】：

因为音频输入源的各个通道可能会间歇性地输入数据（比如可能10秒没有数据），所以我使用最大输入超时策略（比如500毫秒左右）来决定是静音还是不，使用“线性回归算法”来实现混音。这里的缺点是需要缓存足够多的图片，才能在录制 MP4 时勉强同步音视频。 MediaFoundation 的音频新手，我不想再重新发明***了。我想知道是否有实时多声道混音MFT或类似的库？

【问题讨论】：

MF 的官方转换 (DSP) 在这里：docs.microsoft.com/en-us/windows/win32/medfound/…，唯一的音频是“Audio Resampler DSP”，所以它看起来不像你想要的。

【参考方案1】：

音频混合效果将 2+ 输入和 1 输出 MFT 混合输入。也没有针对此的常规转换，但问题描述建议您寻找更专业的转换。

如果您的意图是拥有一个多通道输入但切换通道（对我来说没有多大意义，但描述也不清楚），库存音频重采样器 MFT 可用于选择您可以在旅途中切换的缩混模式（ conversion matrix 是可配置的）。

这种类型的转换不需要什么特别的东西就可以达到实时等级。但是，根据您的情况，单独的这种转换仍有可能无法满足您的需求：这种混合转换将成为某些缓冲之前管道的一部分，并且一旦播放当前缓冲的数据，混合的变化可能会产生影响。我相信这应该不是问题，但如果您对实时的理解是实时的，那么您也可能会遇到这个问题。