使用node.jssocket.io通过webrtc广播现场音频

Question

我正在尝试使用webrtc和socket通过getUserMedia（）获取音频。io将其发送到服务器（socket.io支持音频、视频、二进制数据），然后服务器将其广播到所有连接的客户端。问题是，当流到达连接的客户端时，它会转换为JSON对象，而不是媒体流对象。所以我无法发送音频，我也尝试了套接字。io流模块，但我认为未成功。您能帮我正确捕获音频流并将其发送到所有连接的客户端吗。

下面是发送数据的客户端的代码

navigator.getUserMedia({audio: true, video: false}, function(stream) {
  video.src = window.URL.createObjectURL(stream);
  webcamstream = stream;
  media = stream; /// here the datatype of media is mediaStream object
  socket.emit("sendaudio", media);
}, function(e){
  console.log(error);
});

在接收客户端时，代码如下

socket.on('receiveaudio' , function(media)
{
   console.log(media); //but here i am receiving it as a simple object
   other.src= media;
});

Answer 1

我从这里抄下了我的答案。

本示例向您展示了如何使用MediaRecorder上传音频，然后使用socket.io转发音频。此代码只会在调用mediaecorder.stop（）后广播。您可以选择在ondata内部广播。如果您这样做，您可能希望将一个timeslice传递给mediaecorder.start（），这样它就不会经常触发ondata可用性。

这个解决方案并不是真正的生活，但我认为它会帮助那些回来发现这个问题的人。

客户端代码

var constraints = { audio: true };
navigator.mediaDevices.getUserMedia(constraints).then(function(mediaStream) {
    var mediaRecorder = new MediaRecorder(mediaStream);
    mediaRecorder.onstart = function(e) {
        this.chunks = [];
    };
    mediaRecorder.ondataavailable = function(e) {
        this.chunks.push(e.data);
    };
    mediaRecorder.onstop = function(e) {
        var blob = new Blob(this.chunks, { 'type' : 'audio/ogg; codecs=opus' });
        socket.emit('radio', blob);
    };

    // Start recording
    mediaRecorder.start();

    // Stop recording after 5 seconds and broadcast it to server
    setTimeout(function() {
        mediaRecorder.stop()
    }, 5000);
});

// When the client receives a voice message it will play the sound
socket.on('voice', function(arrayBuffer) {
    var blob = new Blob([arrayBuffer], { 'type' : 'audio/ogg; codecs=opus' });
    var audio = document.createElement('audio');
    audio.src = window.URL.createObjectURL(blob);
    audio.play();
});

服务器代码

socket.on('radio', function(blob) {
    // can choose to broadcast it to whoever you want
    socket.broadcast.emit('voice', blob);
});