实时 MIDI 输入和音频同步

Posted 2023-02-16

【中文标题】实时 MIDI 输入和音频同步

【英文标题】：realtime midi input and synchronisation with audio

【发布时间】：2011-05-12 06:51:56

【问题描述】：

我已经构建了一个项目的独立应用程序版本，到目前为止它只是一个 VST/audiounit。我正在通过rtaudio 提供音频支持。

我想使用rtmidi 添加 MIDI 支持，但我不清楚如何同步音频和 MIDI 部分。

在 VST/audiounit 领域，我习惯于 MIDI 事件，这些事件有一个时间戳，表示它们在样本中从音频块开始的偏移量。

rtmidi 提供了自上次事件以来的增量时间（以秒为单位），但我不确定我应该如何获取这些事件以及如何计算出与音频线程中当前样本相关的时间。

插件主机如何做到这一点？

我可以理解事件如何在回放时准确采样，但不清楚在使用实时输入时它们如何准确采样。

rtaudio 给了我一个回调函数。我将以较小的块大小（32 个样本）运行。我想我会将一个指向 rtmidi 实例的指针作为回调的 userdata 部分传递，然后调用 midiin->getMessage( &message );在音频回调中，但我不确定这是否是线程敏感的。

非常感谢您能给我的任何提示

【问题讨论】：

MIDI 永远不会样本准确，也不需要如此。 MIDI 数据比较慢。

【参考方案1】：

在您的情况下，您无需担心。您的程序应在 MIDI 事件到达后立即将其发送到时间戳为零的插件。我认为您可能误解了“样本准确”的含义。

正如@Brad 在他对您的问题的评论中指出的那样，MIDI 确实非常慢。但这只是问题的一部分......当您在基于块的环境中工作时，插件无法处理传入的 MIDI 事件，直到块开始。当计算机速度较慢且块大小为 512（或上帝禁止，> 1024）很常见时，这会引入非平凡的延迟量，导致排列听起来不“紧凑”。因此，测序仪想出了一个巧妙的方法来解决这个问题。由于 MIDI 事件是提前知道的，因此可以提前一个块将这些事件发送到仪器，并在样本帧中进行偏移。然后插件在块的开头接收这些事件，并且知道在N 样本通过之前不会开始实际处理它们。这就是测序仪中“样本准确”的含义。

但是，如果您正在处理来自键盘或其他某种 MIDI 设备的实时输入，则无法“安排”这些事件。事实上，当您收到它们时，时间已经在滴答作响了！因此，这些事件应该在下一个块开始时发送到插件，偏移量为 0。像 Ableton Live 这样的序列器允许插件同时接收预排序和实时事件，只需发送任何实时事件偏移量为 0 帧。

由于您使用的块大小非常小，因此最坏的情况是 0.7 毫秒的延迟，这还不算太糟糕。在 rtmidi 的情况下，时间戳并不代表您需要安排的偏移量，而是捕获事件的时间。但是由于您只打算接收实时事件（您并没有编写音序器，是吗？），您可以简单地将任何传入的 MIDI 立即传递给插件。