在 iOS 上使用音频单元混合多个信号

Posted 2023-02-23

【中文标题】在 iOS 上使用音频单元混合多个信号

【英文标题】：Mixing multiple signals using audio units on the iOS

【发布时间】：2011-07-29 22:09:25

【问题描述】：

我正在为 iPad 上的合成器制作控制器，我有 4 或 5 个信号要混合并发送到 remoteIO 渲染回调。现在我有两个选择：

我可以使用多通道混音器单元，但我不知道它在内部是如何工作的。它是否只是将缓冲区加在一起并除以缓冲区的数量？因为这意味着每个人的音量都会大大减少。

我阅读了http://www.vttoth.com/digimix.htm 和http://atastypixel.com/blog/how-to-mix-audio-samples-properly-on-ios/ 关于混合信号的正确方法，现在我正在考虑在remoteIO 回调中手动进行混合。

有什么建议吗？

【参考方案1】：

由于我最近遇到了这个问题并且一直很有意义，所以我写了一篇详细的文章，介绍了在渲染回调中手动混合/求和音频时的三个选项：

Mixing Audio without Clipping in iOS: Limiters and Other Techniques

基本上，第一种方法在您引用的博客文章中进行了概述。然而，正如 A Tasty Pixel 的帖子中所述，这种“平均”技术引入了谐波失真。显然，在某些应用中它并不明显，例如当源是完整的轨道或基于噪声的打击乐器（例如小军鼓）时。据 A Tasty Pixel 报道，专业级音频工具Loopy app 成功使用了这项技术。

第二个选项，如果你有自然的声音和/或高复音，这可能会更好，它只是通过将音频数据预乘以 0 Sound Wand 已将样本标准化为全音阶，最大复音数为 20，我使用的预缩放值仅约为 1/3（不是 1/20）。好处是您的乐器中有一个非常好的动态范围 - 即柔和的音符很安静，而坚硬的音符或它们中的许多一起响亮得多。这通常被认为是优质乐器的标志之一。缺点是 iPhone/iPad 的内置扬声器有时会有点安静，而且对于廉价的外部放大器来说，动态范围可能太大。

第三个选项确实是砖墙限制器，但它并不简单。普通的砖墙限制器不会阻止削波。您需要一个 lookahead 砖墙限制器，并且这些代码并不容易获得。您需要前瞻的原因是限制器需要时间来平滑地降低音量，直到第一次发生削波。当波形开始削波时“立即降低音量”是不够的，因为降低音量以将其恢复到 1.0 与削波对您所做的确切相同！因此，非前瞻限制器只会删除 一半 剪辑（而 那个 只是因为发布时间）。

（没有“前瞻”的砖墙限制太晚了，只能阻止一半的剪辑）

前瞻限制器也有缺点。它们在那里引入了自己的谐波失真，尽管比削波要少得多。更糟糕的是，它们会增加 延迟，即用户操作和音频结果之间的时间，增加了前瞻时间。这意味着响应速度较慢的应用程序。正如您可能已经猜到的那样，更长的前瞻意味着更透明的结果（更少的失真），因此需要权衡。我仍然相信这是一种可行的方法，我在the post 的底部稍微概述了它。

关于使用 AU 混音器与在 remoteIO 中手动混音的最后一点说明：如果我的通道类似于音频“轨道”并且我希望控制通常的音量/声像，我通常更倾向于使用 AU由用户或者如果你有一个游戏有几个频道，可能是背景/前景/等。如果您有很多声音，例如键盘上的音符，或者如果您想要对求和进行定制控制（例如，不同的平移法则、关于打开/关闭哪些声音的特殊规则等），您可能最好手动进行。如果您只是将几个音轨相加，那么任何一个选项都可以。如果您使用上面的选项 2，那么一旦您掌握了Accelerate Framework's vDSP functions，手动操作实际上只需要很少的代码行。

【讨论】：

您网站上的好帖子。不错的应用程序:)

【参考方案2】：

Apple 已在其网站上发布了sample project which uses the mixer audiounit，但我认为这不会回答您有关 AU 内部运作方式的问题。我也不知道，但惯例规定信号在混合时只是简单地加在一起。事实上，混音器单元现在提供声像，这意味着根据声像量从左声道或右声道中减去一点增益。

如果您手动进行混音，您可能需要在混音器的输出上应用一个简单的砖墙限制器，然后再将其发送出去进行播放。这样，您可以减少由于将太多信号加在一起而导致的潜在失真。虽然很明显，如果您有很多通道，理想的方法是在混合时降低它们的信号强度。