AVAudioPlayerNode lastRenderTime
Posted
技术标签:
【中文标题】AVAudioPlayerNode lastRenderTime【英文标题】: 【发布时间】:2017-07-12 04:59:03 【问题描述】:我在AVAudioEngine
中使用多个AVAudioPlayerNode
来混合音频文件以进行播放。
一旦完成所有设置(引擎准备好、启动、音频文件段计划),我将在每个播放器节点上调用 play()
方法开始播放。
因为循环遍历所有播放器节点需要时间,所以我拍摄了第一个节点的 lastRenderTime
值的快照,并使用它来计算节点 play(at:)
方法的开始时间,以保持节点之间的播放同步:
let delay = 0.0
let startSampleTime = time.sampleTime // time is the snapshot value
let sampleRate = player.outputFormat(forBus: 0).sampleRate
let startTime = AVAudioTime(
sampleTime: startSampleTime + AVAudioFramePosition(delay * sampleRate),
atRate: sampleRate)
player.play(at: startTime)
问题出在当前播放时间上。
我使用此计算来获取值,其中seekTime
是我在寻找玩家时跟踪的值。开头是0.0
:
private var _currentTime: TimeInterval
guard player.engine != nil,
let lastRenderTime = player.lastRenderTime,
lastRenderTime.isSampleTimeValid,
lastRenderTime.isHostTimeValid else
return seekTime
let sampleRate = player.outputFormat(forBus: 0).sampleRate
let sampleTime = player.playerTime(forNodeTime: lastRenderTime)?.sampleTime ?? 0
if sampleTime > 0 && sampleRate != 0
return seekTime + (Double(sampleTime) / sampleRate)
return seekTime
虽然这会产生一个相对正确的值,但我可以听到我播放的时间和我听到的第一个声音之间的延迟。因为一旦我调用play(at:)
,lastRenderTime
立即开始前进,并且必须有某种处理/缓冲时间偏移。
明显的延迟在100ms左右,非常大,我需要一个精确的当前时间值来并行进行视觉渲染。
这可能没关系,但每个音频文件都是 AAC 音频,我在播放器节点中安排它们的片段,我不直接使用缓冲区。
段长度可能会有所不同。安排好音频数据后,我还会在每个播放器节点上调用prepare(withFrameCount:)
。
所以我的问题是,我观察到的延迟是缓冲问题吗? (例如,我的意思是我应该安排较短的片段),有没有办法精确计算这个值,以便我可以调整我当前的播放时间计算?
当我在一个AVAudioPlayerNode
上安装一个 Tap 块时,该块被调用一个长度为4410
的缓冲区,采样率为44100 Hz
,这意味着 0.1 秒的音频数据。我应该依靠它来计算延迟吗?
我想知道我是否可以相信我在点击块中获得的缓冲区的长度。或者,我正在尝试计算我的音频图的总延迟。有人可以提供有关如何精确确定此值的见解吗?
【问题讨论】:
【参考方案1】:来自theanalogkid 在 Apple 开发者论坛上的帖子:
在系统上,延迟通过以下方式测量:
音频设备 I/O 缓冲区帧大小 + 输出安全偏移 + 输出流延迟 + 输出设备延迟
如果您尝试计算总往返延迟,您可以添加:
输入延迟 + 输入安全偏移量。
您在渲染过程中看到的时间戳。考虑缓冲区帧大小和安全偏移,但不考虑流和设备延迟。
ios 允许您通过 AVAudioSession 访问上述最重要的信息,如上所述,您还可以使用“首选”会话设置 - setPreferredIOBufferDuration
和 preferredIOBufferDuration
进行进一步控制。
/ The current hardware input latency in seconds. */
@property(readonly) NSTimeInterval inputLatency NS_AVAILABLE_IOS(6_0);
/ The current hardware output latency in seconds. */
@property(readonly) NSTimeInterval outputLatency NS_AVAILABLE_IOS(6_0);
/ The current hardware IO buffer duration in seconds. */
@property(readonly) NSTimeInterval IOBufferDuration NS_AVAILABLE_IOS(6_0);
音频单元还具有您可以查询的kAudioUnitProperty_Latency
属性。
【讨论】:
以上是关于AVAudioPlayerNode lastRenderTime的主要内容,如果未能解决你的问题,请参考以下文章
AVAudioEngine 录制在 AVAudioPlayerNode 中播放的声音