应该如何在 AVAudioEngine 图中配置 AUMatrixMixer？
Posted
技术标签:
【中文标题】应该如何在 AVAudioEngine 图中配置 AUMatrixMixer？【英文标题】：How should an AUMatrixMixer be configured in an AVAudioEngine graph? 【发布时间】：2018-01-02 10:36:18 【问题描述】：我完全坚持这一点，希望能得到任何帮助......
我在 AVAudioEngine 图中实现了一个 AUMatrixMixer，但我听不到任何声音。如果我将 AUMatrixMixer 换成 AUMultiChannelMixer，我可以听到声音。 我在直接上游节点（AUHighPassFilter）上安装了一个水龙头，我可以看到音频被 AUMatrixMixer 拉出。如果我将水龙头移到 AUMatrixMixer 的输出端，我可以看到从下一个下游节点（AVAudioEngine 主混音器节点）拉出数据，但它全是静音......
关于 AUMatrixMixers 的评论并不多，所以它可能是一些我不知道的神奇设置。作为参考来源，我收到一封来自 Apple 技术支持的电子邮件，其中包含以下关键观察：
"...要在您的 AVAudioEngine 设置中使用 Matrix-Mixer，您需要使用 +instantiateWithComponentDescription:options:completionHandler: API 创建一个 AVAudioUnit：在此处找到的 AVAudioUnit：
AVAudioUnit 类参考https://developer.apple.com/reference/avfoundation/avaudiounit由于 AVAudioUnit 是 AVAudioNode 的子类，因此您可以在 AVAudioEngine 设置中使用利用 Matrix-Mixer 的 AVAudioUnit。您将能够进行类似于以下的设置：
AVAudioPlayerNode -> AVAudioUnit（配置为分割您的通道的矩阵混音器音频单元）-> 主混音器（您将配置用于多路由通道映射）-> 输出..."
所以它应该工作。我也分析了苹果提供的示例代码：
(MatrixMixerTest https://developer.apple.com/library/mac/samplecode/MatrixMixerTest/Introduction/Intro.html) - 这不是我想要做的，但我看不出在使用 API 等方面有什么不同。
创建AUMatrixMixer的代码（一个输入总线，两个输出总线）：
private func setupMatrixMixer()
AVAudioUnit.instantiate(with: matrixMixerDescr, options: [.loadOutOfProcess], completionHandler: (audioUnit, auError) in
if let au = audioUnit
self.matrixMixer = au
var error:OSStatus = noErr
var numInputBuses:UInt32 = 1
var numOutputBuses:UInt32 = 2
// Input bus config
error = AudioUnitSetProperty(self.matrixMixer.audioUnit,
AudioUnitPropertyID(kAudioUnitProperty_ElementCount),
AudioUnitScope(kAudioUnitScope_Input),
0,
&numInputBuses,
UInt32(MemoryLayout<UInt32>.size))
if error != noErr
assert(true, "ERROR: Setting matrix mixer number of input buses")
return
// Output bus config
error = AudioUnitSetProperty(self.matrixMixer.audioUnit,
AudioUnitPropertyID(kAudioUnitProperty_ElementCount),
AudioUnitScope(kAudioUnitScope_Output),
0,
&numOutputBuses,
UInt32(MemoryLayout<UInt32>.size))
if error != noErr
assert(true, "ERROR: Setting matrix mixer number of output buses")
return
else trace(level: .skim, items: "ERROR: failed to create matrix mixer. Error code: \(String(describing: auError))")
)
图表创建：
private func makeEngineConnections()
// Get the engine's optional singleton main mixer node
let output = engine.mainMixerNode
// Connect nodes
engine.connect(player, to: timePitch, fromBus: 0, toBus: 0, format: audioFormat)
engine.connect(timePitch, to: lowPassFilter, fromBus: 0, toBus: 0, format: audioFormat)
engine.connect(lowPassFilter, to: highPassFilter, fromBus: 0, toBus: 0, format: audioFormat)
engine.connect(highPassFilter, to: matrixMixer, fromBus: 0, toBus: 0, format: audioFormat)
engine.connect(matrixMixer, to: output, fromBus: 0, toBus: 0, format: audioFormat)
engine.connect(matrixMixer, to: output, fromBus: 1, toBus: 1, format: audioFormat)
设置后引擎图的转储：
________ 图表描述 ________ AVAudioEngineGraph 0x1701c6450：初始化 = 1，运行 = 1，节点数 = 8
******** output chain ********
node 0x1700a9960 'auou' 'rioc' 'appl', 'I'
inputs = 1
(bus0) <- (bus0) 0x1740ee180, 'aumx' 'mcmx' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
node 0x1740ee180 'aumx' 'mcmx' 'appl', 'I'
inputs = 2
(bus0) <- (bus0) 0x1700f0200, 'aumx' 'mxmx' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
(bus1) <- (bus1) 0x1700f0200, 'aumx' 'mxmx' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
outputs = 1
(bus0) -> (bus0) 0x1700a9960, 'auou' 'rioc' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
node 0x1700f0200 'aumx' 'mxmx' 'appl', 'I'
inputs = 1
(bus0) <- (bus0) 0x1740ee100, 'aufx' 'hpas' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
outputs = 2
(bus0) -> (bus0) 0x1740ee180, 'aumx' 'mcmx' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
(bus1) -> (bus1) 0x1740ee180, 'aumx' 'mcmx' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
node 0x1740ee100 'aufx' 'hpas' 'appl', 'I'
inputs = 1
(bus0) <- (bus0) 0x1740ee700, 'aufx' 'lpas' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
outputs = 1
(bus0) -> (bus0) 0x1700f0200, 'aumx' 'mxmx' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
node 0x1740ee700 'aufx' 'lpas' 'appl', 'I'
inputs = 1
(bus0) <- (bus0) 0x1740ee480, 'aufc' 'nutp' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
outputs = 1
(bus0) -> (bus0) 0x1740ee100, 'aufx' 'hpas' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
node 0x1740ee480 'aufc' 'nutp' 'appl', 'I'
inputs = 1
(bus0) <- (bus0) 0x174198fc0, 'augn' 'sspl' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
outputs = 1
(bus0) -> (bus0) 0x1740ee700, 'aufx' 'lpas' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
node 0x174198fc0 'augn' 'sspl' 'appl', 'I'
outputs = 1
(bus0) -> (bus0) 0x1740ee480, 'aufc' 'nutp' 'appl', [ 2 ch, 44100 Hz, 'lpcm' (0x00000029) 32-bit little-endian float, deinterleaved]
******** other nodes ********
node 0x1700ef000 'aumx' 'mcmx' 'appl', 'U'
AUMatrixMixer 内部的设置有点繁琐。总结：
启用输入总线 在每个输入通道（其中 2 个）上设置音量 启用输出总线（实际上，这是多余的，因为它们都是永久启用的） 在每个输出通道（其中 4 个）上设置音量 在每个交叉点上设置音量（我现在将所有内容都设置为 1（最大音量）） - 其中 8 个 为混音器设置全局音量（1 个设置）这是完成上述操作后内部状态的转储：
Matrix dimensions: [2, 4]
Input element count: 1
Input channel 0 volume: 1.0
Input channel 1 volume: 1.0
Output element count: 2
Output channel 0 volume: 1.0
Output channel 1 volume: 1.0
Output channel 2 volume: 1.0
Output channel 3 volume: 1.0
Crosspoint volumes: [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0]
Input 0 enabled parameter: 1.0
Output 0 enabled parameter: 1.0
Output 1 enabled parameter: 1.0
如您所见，一切都已启用，所有音量都设置为最大但没有输出声音....
如上所述，通过点击各个节点的输出，我已经验证了良好的数据正在从高通滤波器移动到矩阵混合器，但在矩阵混合器和主混合器之间移动的是静音混合器节点。
有没有人知道我需要做些什么才能让声音从中发出声音？
问候， 交流
【问题讨论】：
【参考方案1】：我已经面临同样的情况好几个星期了。就在刚才，我正在编写一段示例代码来询问 Apple Code-Level 的支持。我在即将发送时对其进行了测试，假设它不会像往常一样工作，但令人惊讶的是它确实有效！我认为，像 AUGraph 一样，必须有一些特定的顺序来设置流格式、连接节点等，这是它正常工作所必需的。 （而且，与 AUGraph 一样，文档并没有准确解释该顺序是什么。）所以我不确定这次我做了什么不同，但至少它现在对我有用。
下面是一个准系统示例，它成功地将矩阵混音器与 AVAudioEngine 结合使用：
NSURL *audioURL = /*an audio URL*/
AVAudioFile *file = [[AVAudioFile alloc] initForReading:audioURL error:nil];
AVAudioPlayerNode *audioPlayer = [[AVAudioPlayerNode alloc] init];
_engine = [[AVAudioEngine alloc] init];
[_engine attachNode:audioPlayer];
AudioComponentDescription mixerDesc;
mixerDesc.componentType = kAudioUnitType_Mixer;
mixerDesc.componentSubType = kAudioUnitSubType_MatrixMixer;
mixerDesc.componentManufacturer = kAudioUnitManufacturer_Apple;
mixerDesc.componentFlags = kAudioComponentFlag_SandboxSafe;
[AVAudioUnit instantiateWithComponentDescription:mixerDesc options:kAudioComponentInstantiation_LoadInProcess completionHandler:^(__kindof AVAudioUnit * _Nullable mixerUnit, NSError * _Nullable error)
[_engine attachNode:mixerUnit];
/*Give the mixer one input bus and one output bus*/
UInt32 inBuses = 1;
UInt32 outBuses = 1;
AudioUnitSetProperty(mixerUnit.audioUnit, kAudioUnitProperty_ElementCount, kAudioUnitScope_Input, 0, &inBuses, sizeof(UInt32));
AudioUnitSetProperty(mixerUnit.audioUnit, kAudioUnitProperty_ElementCount, kAudioUnitScope_Output, 0, &outBuses, sizeof(UInt32));
/*Set the mixer's input format to have 2 channels*/
UInt32 inputChannels = 2;
AudiostreamBasicDescription mixerFormatIn;
UInt32 size;
AudioUnitGetProperty(mixerUnit.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, 0, &mixerFormatIn, &size);
mixerFormatIn.mChannelsPerFrame = inputChannels;
AudioUnitSetProperty(mixerUnit.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Input, 0, &mixerFormatIn, size);
/*Set the mixer's output format to have 2 channels*/
UInt32 outputChannels = 2;
AudioStreamBasicDescription mixerFormatOut;
AudioUnitGetProperty(mixerUnit.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Output, 0, &mixerFormatOut, &size);
mixerFormatOut.mChannelsPerFrame = outputChannels;
AudioUnitSetProperty(mixerUnit.audioUnit, kAudioUnitProperty_StreamFormat, kAudioUnitScope_Output, 0, &mixerFormatOut, size);
/*Connect the nodes*/
[_engine connect:audioPlayer to:mixerUnit format:nil];
[_engine connect:mixerUnit to:_engine.outputNode format:nil];
/*Start the engine*/
[_engine startAndReturnError:nil];
/*Play the audio file*/
[audioPlayer scheduleFile:file atTime:nil completionHandler:nil];
[audioPlayer play];
/*Set all matrix volumes to 1*/
/*Set the master volume*/
AudioUnitSetParameter(mixerUnit.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Global, 0xFFFFFFFF, 1.0, 0);
for(UInt32 i = 0; i < inputChannels; i++)
/*Set input volumes*/
AudioUnitSetParameter(mixerUnit.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Input, i, 1.0, 0);
for(UInt32 j = 0; j < outputChannels; j++)
/*Set output volumes (only one outer iteration necessary)*/
if(i == 0)
AudioUnitSetParameter(mixerUnit.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Output, j, 1.0, 0);
/*Set cross point volumes - 1.0 for corresponding
inputs/outputs, otherwise 0.0*/
UInt32 crossPoint = (i << 16) | (j & 0x0000FFFF);
AudioUnitSetParameter(mixerUnit.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Global, crossPoint, (i == j) ? 1.0 : 0.0, 0);
/*If you want to verify it's working, try something like this to silence only one channel of audio
AudioUnitSetParameter(mixerUnit.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Output, 0, 0.0, 0);
*/
];
【讨论】：
【参考方案2】：通过将上面 Isabel 的示例代码翻译成 Swift，我能够让 AUMatrixMixer 在 AVAudioEngine 下工作。但是，伊莎贝尔的回答中的那一行：
UInt32 大小；
不初始化值（在我的 Mac 中它应该是 40），并且 AudioUnitGetProperty() 上的文档说 size 的输入值应该是预期的数据大小。 （也许这就是 Isabel 行为不一致的原因？）
无论如何，我没有使用 Isabel 的代码中查询 AudioStreamBasicDescription 并对其进行修改的那部分。在我的例子中，我没有探索该代码，因为在连接节点时，每帧的通道数似乎是由 AVAudioEngine 的 Connect 函数提供的格式正确设置的。
我实例化 MatrixMixer 的快速代码是：
var matrixMixer1 : AVAudioUnit?
func instantiateMatrixMixer()
let kAudioComponentFlag_SandboxSafe:uint32 = 2
let mixerDesc = AudioComponentDescription(componentType: kAudioUnitType_Mixer, componentSubType: kAudioUnitSubType_MatrixMixer, componentManufacturer: kAudioUnitManufacturer_Apple, componentFlags: kAudioComponentFlag_SandboxSafe, componentFlagsMask: 0)
AVAudioUnit.instantiate(with: mixerDesc) avAudioUnit, error in
matrixMixer1 = avAudioUnit
然后（在等待一段时间以完成实例化操作之后）MatrixMixer 像其他任何音频节点一样连接起来：
audioEngine.attach(matrixMixer1!)
audioEngine.connect(matrixMixer1!, to: audioEngine.outputNode, format: audioEngine.outputNode.outputFormat(forBus: 0))
将其他东西连接到其输入。
我实际上是等到音频开始播放后再设置混音器电平。首先，您设置主音量，然后设置所有输入和输出的电平，但实际上仍然没有将任何输入连接到任何输出；然后，您必须使用奇怪的位移符号设置交叉点级别。此示例配置为双输入双输出混频器，输入 0 连接到输出 0，输入 1 连接到输出 1：
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Global, 0xFFFFFFFF, 1.0, 0);
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Output, 0, 1.0, 0);
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Output, 1, 1.0, 0);
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Input, 0, 1.0, 0);
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Input, 1, 1.0, 0);
var i : UInt32 = 0
var j : UInt32 = 0
let crossPoint : UInt32 = (i << 16) | (j & 0x0000FFFF);
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Global, crossPoint, 1.0, 0);
i = 1
j = 1
let crossPoint2 : UInt32 = (i << 16) | (j & 0x0000FFFF);
AudioUnitSetParameter(matrixMixer1!.audioUnit, kMatrixMixerParam_Volume, kAudioUnitScope_Global, crossPoint2, 1.0, 0);
【讨论】：
以上是关于应该如何在 AVAudioEngine 图中配置 AUMatrixMixer？的主要内容，如果未能解决你的问题，请参考以下文章
Swift AVAudioEngine - 如何使本地麦克风静音
如何使用 AVAudioEngine 取消或消除回声/重复声音？