如何将 PCM 音频流转换为在线播放

Posted 2023-02-16

【中文标题】如何将 PCM 音频流转换为在线播放

【英文标题】：How to convert PCM audio stream for online play

【发布时间】：2015-11-06 17:02:30

【问题描述】：

我可以访问 PCM 音频缓冲区的音频流。我应该清楚我无权访问音频文件。我只能访问 4096 字节的音频数据块流。

PCM 缓冲区采用以下格式：

PCM 诠释 16 小端序 两个通道 交错式

为了在标准浏览器上支持音频播放，我需要将音频转换为以下格式：

PCM 浮点数 32 大端序 两个通道（最多） 去交错

此音频来自 ios 应用程序，因此我可以访问 Swift 和 Objective C（虽然我对 Objective C 不太满意...这使得 Apple 的 Audio Converter Services 几乎无法使用，因为 Swift 真的不喜欢指针）。

此外，播放将在浏览器上进行，因此我可以在客户端 javascript 或服务器端处理转换。我精通以下服务器端语言，可以进行转换：

Java（首选） php Node.js Python

如果有人知道用这些语言中的任何一种执行此操作的方法，请告诉我。我已经在这方面工作了足够长的时间，以至于我可能会理解如何做到这一点的非常技术性的描述。

我目前的计划是使用按位运算来解交织左右声道，然后使用Web Audio API 将 Int 16 Buffer 转换为 Float 32 Buffer。这看起来是个好计划吗？

感谢您的帮助，谢谢。

【参考方案1】：

我目前的计划是使用按位运算来解交织左右声道，然后使用 Web Audio API 将 Int 16 缓冲区转换为 Float 32 缓冲区。这看起来是个好计划吗？

是的，这正是您需要做的。我在我的应用程序中做同样的事情，这种方法效果很好，并且确实是唯一有意义的方法。由于带宽量，您不想从服务器向客户端发送 32 位浮点样本。在客户端进行转换。

【讨论】：

非常感谢。很多事情都失败了，我想确保这种按位策略没有根本上的缺陷。如果您不介意后续问题，您发现将音频数据从手机发送到客户端的最佳方式是什么？这是一个 Chromecast 应用程序，因此所有数据都必须是文本的。现在我将音频数据作为 base 64 编码字符串发送（据我所知，这是将文本数据发送到浏览器的唯一方法）。我更愿意发送一个 UTF-16 字符串，但我担心 Javascript 无法正确解析它。

@WilliamRosenbloom 您实际上可以通过 websocket 发送二进制数据。现代 JavaScript 实现支持类型化数组，因此您可以拥有最原始有效形式的 16 位样本数组。 BinaryJS 为你包装了这个。 (binaryjs.com) 您可以在客户端和服务器之间打开任意流。

我仍然遇到一些麻烦。解码后的音频中有很多噪音。如果您能看看我的next question，我将不胜感激。再次感谢您。