从NodeJS服务器获取实时音频流到客户端

Question

我需要有一个实时直播音频流从一个客户端到一个服务器到多个侦听器客户端。

目前，我已经从客户端录制工作和流通过套接字的音频。将io发送到服务器。服务器接收此数据，并且必须流式传输音频（也通过socket.io？）发送给希望侦听此流的客户端。它必须尽可能实时（尽量减少延迟）。

我正在使用GetUserMedia录制麦克风（浏览器兼容性在这里并不重要）。我希望客户端使用HTML5音频标签来收听流。在服务器上接收的数据是块（目前由700打包），打包在一个blob中，类型为dio/wav。

这是我将其发送到服务器的代码：

mediaRecorder.ondataavailable = function(e) {
    this.chunks.push(e.data);
    if (this.chunks.length >= 700)
    {
        this.sendData(this.chunks);
        this.chunks = [];
    }
};
mediaRecorder.sendData = function(buffer) {
    blob = new Blob(buffer, { 'type' : 'audio/wav' });
    socket.emit('voice', blob);
}

在服务器上，我可以像这样将块发送到客户端：

socket.on('voice', function(blob) {
    socket.broadcast.emit('voice', blob);
});

在客户端上，我可以这样玩：

var audio = document.createElement('audio');
socket.on('voice', function(arrayBuffer) {
    var blob = new Blob([arrayBuffer], { 'type' : 'audio/wav' });
    audio.src = window.URL.createObjectURL(blob);
    audio.play();
});

这适用于我发送的第一个blob块，但不允许您继续更改为音频。src到新的URL源，因此这不是一个有效的解决方案。

我想我必须在服务器上创建某种流，我可以把它放在监听客户端的HTML5的音频标签中，但我不知道怎么做。接收到的带有块的Blob应该实时附加到此流中。

最好的方法是什么？从客户端麦克风到服务器，我做得对吗？

Answer 1

您可以动态更改音频src，如下所示（假设为mp3类型）：

<audio id="audio" controls="controls">
    <source id="mp3Source" type="audio/mp3"></source>
        Your browser does not support the audio format.
</audio>

每当接收到套接字事件时调用以下函数：

function updateSource() { 
        var audio = document.getElementById('audio');

        var source = document.getElementById('mp3Source');
        source.src= <blob>;

        audio.load(); //call this to just preload the audio without playing
        audio.play(); //call this to play the song right away
    }

Answer 2

我在这里的聚会有点晚，但看起来网络音频应用编程接口将是你的朋友，如果你还没有完成的话。它允许您直接向输出设备播放音频流，而无需将其附加到音频元素。

我正在考虑做同样的事情，您的问题已经回答了我的问题-如何从客户机到服务器获取数据。web音频API的好处是能够将流添加到一起，并在服务器上对其应用音频效果。

网络音频API

io事件应替换音频上下文中音频缓冲区对象中的数据。音频处理可以在nodeJS web音频上下文中进行，然后作为单个流发送到每个客户端。