将音频从浏览器流式传输到具有特定 MIME 类型的 node.js 服务器

Posted

技术标签:

【中文标题】将音频从浏览器流式传输到具有特定 MIME 类型的 node.js 服务器【英文标题】:Streaming audio from the browser to a node.js server with a specific MIME type 【发布时间】:2019-11-05 11:25:00 【问题描述】:

我需要什么: 以 WAV 格式将实时音频从浏览器流式传输到 node.js 服务器。

听起来很简单 - 问题: 使用getUserMedia,您将获得audio/webm 格式的音频流。 node.js 服务器连接到语音转文本引擎(deepspeech),该引擎只能处理 WAV 格式的流。

已经奏效的方法: 我已经可以录制一个固定长度的 WAV 音频 blob(通过 RecorderJs)并将完成的录制发送到 node.js 服务器并从 readFileSync 服务器端获取其流。存储库here(仅主工作)。但是我没有固定的录音了,我想连续直播那个音频。

到目前为止,我不确定这是否在 node.js 或任何现有库的可能性范围内。我查看了ffmpeg,但没有找到一种方法来改变流的编码。我只能使用 ffmpeg 更改固定文件/blob 的编码。

如果有人能引导我走向正确的方向,我将不胜感激,以便我知道从哪里开始。

【问题讨论】:

【参考方案1】:

FFmpeg 是要走的路。

我研究了 ffmpeg,但没有找到一种方法来改变流的编码。

输入文件使用-,输出文件使用-。然后在您的 Node.js 子进程上使用 STDIN/STDOUT 流。

【讨论】:

我不确定我是否理解正确...您指的是哪些输入/输出文件?我只是收到一个流,仅此而已 对,所以当你将FFmpeg作为子进程执行时,不用指定输入文件名,只需使用单个连字符-作为文件名。这告诉 FFmpeg 期待 STDIN 上的输入流。对于输出,也使用- 作为文件名,它告诉FFmpeg 输出到STDOUT。 如果我通过读取示例文件来创建流,这就像一个魅力。但是,如果我从浏览器麦克风流式传输,则会收到错误消息:stdout pipe:: Invalid data found when processing input 。您将如何将音频从浏览器连续流式传输到服务器?目前我正在使用 Websockets 并在可用时发送一个块,但这似乎没有按预期工作 @JohannesBeiser 一般来说,该方法有效。出于测试目的,请改为设置输出文件,但将 - 保留为 STDIN。您使用的容器格式的细节可能存在问题。 (顺便说一句,我不久前为 Facebook 构建了一个几乎相同的项目。您可以在此处查看代码:github.com/fbsamples/Canvas-Streaming-Example 唯一的区别是,在您的情况下,您使用的是来自 MediaRecorder 的流,而不是 CanvasCaptureMediaStream。)

以上是关于将音频从浏览器流式传输到具有特定 MIME 类型的 node.js 服务器的主要内容,如果未能解决你的问题,请参考以下文章

将音频记录从浏览器流式传输到服务器?

将音频流式传输到多个 Web 浏览器

将音频流式传输到 linux 中的“扬声器服务器”

具有不同长度的音频文件的 HTTP 实时流式传输

将麦克风从客户端浏览器流式传输到远程服务器,并将音频实时传递到 ffmpeg 以与第二个视频源结合

从 nodejs 录制音频和流式传输到客户端