MacOS Catalina 10.15.7 AudioUnit 麦克风通知回调未调用

Posted 2023-02-23

【中文标题】MacOS Catalina 10.15.7 AudioUnit 麦克风通知回调未调用

【英文标题】：MacOS Catalina 10.15.7 AudioUnit Microphone notification callback not invoked

【发布时间】：2020-11-03 03:32:15

【问题描述】：

我正在使用 AudioUnit v2(C) API 在 ObjC++ 中仅使用命令行工具（主要是 clang）构建一个命令行工具。输出到扬声器工作正常，但从不调用麦克风回调的输入。 iTerm 或终端主机可以根据设置进行访问。可执行文件还有一个嵌入的 info.plist，尽管我认为这无关紧要。

我不清楚确切的安全模型，如果它有效，它看起来像是一个主要的安全漏洞（从终端运行的任何东西都可以访问）：我的猜测是“应用程序”启动的进程具有然后传播的权限到任何子进程。然而，这种观点被另一种情况混淆了，即我生成的可执行文件进行网络访问（因为它只发生在 localhost 上，因为它是一个回归测试），在这种情况下，可执行文件要求网络访问，而不是终端。

源代码实际上是用 Felix 编写的，它被翻译成 C++，然后通过带有 -ObjC 选项的 clang 编译和链接，因此支持嵌入式 Objective C。译者足够成熟，对这种简单应用程序的正确性有合理的信心。麦克风输入的 AudioUnit 配置为：

   // configure
    var outputElement = 0u32;
    var inputElement = 1u32;

    // establish callback
    status = AudioUnitSetProperty(
      outputAudioUnit, 
      kAudioOutputUnitProperty_SetInputCallback,
      kAudioUnitScope_Global,
      inputElement,
      (&inputCallback).address,
      C_hack::sizeof[AURenderCallbackStruct].uint32
    );
    assert noErr == status;

并且 inputElement 被启用并且 outputElement 被禁用。稍后使用类似技术构建第二个音频单元，该技术将正弦波泵入扬声器并且工作正常。实际的回调仅打印诊断信息并退出，但从未看到诊断信息。本来终端是没有权限的，我们猜测代码是正确的，但是由于没有权限访问麦克风而失败。可执行文件仍然没有权限，但终端现在可以（如果我尝试从文件管理器运行可执行文件，则会弹出一个终端）。

在任何阶段都不会报告错误。根本没有调用回调。

【问题讨论】：

(&inputCallback).address 这里的地址是什么？不应该只是&inputCallback

@OlSen：抱歉，这是 Felix 代码，不支持指针自动转换为类型地址。类型地址是 C void*。所以转换必须显式编写。类似地，Felix 中的 sizeof 运算符映射到 C sizeof 运算符，但返回的类型是 size，即 C size_t，必须显式强制转换为 uint32，即 C uint32_t。 Felix 的类型比 C/C++ 更强，因此强制转换和强制转换通常必须显式编写。

是的，如果没有看到结果，很难猜测这个高度优化的生成 c++ 的确切问题是什么。知道 felix-lang 还没有 *** 标签，也许在 github 上打开一个关于您的问题的问题？

【参考方案1】：

要获得回调，您需要

启用 IO 设置音频单元输入设备

第 2 点让人绊倒，因为它不需要输出 [明智地默认为默认输出设备]，在 ios 上也不需要，可能是因为那里没有音频设备的概念，至少在 AudioUnit 中没有API。

令人惊讶的是，这两个要求实际上都已记录在案！ Technote 2091 涵盖了使用 AudioUnits 和代码清单 3. 和 4. 录制音频所需的步骤。具有启用 IO 和设置输入设备的示例代码。清单 4. 将音频单元输入设备设置为默认输入设备，但任何输入设备都可以。

从 macOS Mojave (10.14) 开始，您的 Info.plist 中需要一个 NSMicrophoneUsageDescription 字符串。没有这个，您的应用程序将异常中止。这样，用户会看到一个提示，请求允许访问输入设备。您可以使用code found here 控制何时发生这种情况。 对于命令行工具，您可以在链接阶段嵌入Info.plist 文件。

在 Catalina 上，您似乎还需要选择启用音频输入的沙盒或强化运行时（或两者兼而有之！）。如果没有其中之一，您的回调将被调用，但会保持沉默！这两个运行时环境都使用“权利”启用，这些权利是通过代码设计嵌入到您的应用程序中的元数据，因此您将需要某种形式的代码设计。我认为这并不一定意味着您需要来自 Apple 的证书，存在“本地/临时”代码签名，这似乎嵌入了没有证书的权利，尽管我不确定生成的二进制文件的可分发性如何.