如何在Python中处理流到Firebase信令服务器的视频

Question

我在Javascript中这样做（并显示在我的HTML中）：

<video id="yourVideo" autoplay muted playsinline></video>
...

var database = firebase.database().ref('node_on_firebase');
var yourVideo = document.getElementById("yourVideo");
var friendsVideo = document.getElementById("friendsVideo");
var yourId = Math.floor(Math.random()*1000000000);
var servers = {'iceServers': [{'urls': 'stun:stun.services.mozilla.com'}, {'urls': 'stun:stun.l.google.com:19302'}, {'urls': 'turn:numb.viagenie.ca','credential': 'webrtc','username': '[e-mail]'}]};

var pc = new RTCPeerConnection(servers);
pc.onicecandidate = (event => event.candidate?sendMessage(yourId, JSON.stringify({'ice': event.candidate})):console.log("Sent All Ice") );
pc.onaddstream = (event => friendsVideo.srcObject = event.stream);

function sendMessage(senderId, data) {
    var msg = database.push({ sender: senderId, message: data });
    msg.remove();
}


function readMessage(data) {
    // works
    var msg    = JSON.parse(data.val().message);
    var sender = data.val().sender;

    if (sender != yourId) {

        if (msg.ice != undefined)
            pc.addIceCandidate(new RTCIceCandidate(msg.ice));

        else if (msg.sdp.type == "offer")
            pc.setRemoteDescription(new RTCSessionDescription(msg.sdp))
            .then(() => pc.createAnswer())
            .then(answer => pc.setLocalDescription(answer))
            .then(() => sendMessage(yourId, JSON.stringify({'sdp': pc.localDescription})));

        else if (msg.sdp.type == "answer")
            pc.setRemoteDescription(new RTCSessionDescription(msg.sdp));

    }
};

database.on('child_added', readMessage);

function closeMyFace() {
    yourVideo.srcObject.getTracks().forEach(track => track.stop());
}

function showMyFace() {
    navigator.mediaDevices.getUserMedia({audio:false, video:true}).
    then(function(stream){
        pc.addStream(stream)
        yourVideo.srcObject = stream
    })
    .catch(function(error){
        console.log(error)
    })
}

function showFriendsFace() {
    pc.createOffer()
    .then(offer => pc.setLocalDescription(offer) )
    .then(() => sendMessage(yourId, JSON.stringify({'sdp': pc.localDescription})) );
}

然而，我如何下载/流式传输这个视频，并对视频进行块式处理，理想情况下是在Python脚本中处理？

Answer 1

如果您打算在视频流的同时下载/处理视频，那么您的（python）客户端将需要创建自己的RTCPeerConnection，这样它也可以接收视频流。我相信这在python中并不容易，但在其他平台上可能更容易。更多信息：WebRTC Python实现

如果您的用例允许您在录制完成后处理视频（或者至少，您的用例可以处理相当长的延迟），那么可以让javascript客户机将接收到的数据或以后成批（从上面示例中的friendsVideo流）（可能是块）上载到您的自定义（python）客户机可以下载和处理的位置。

虽然与RTCPeerConnection无关，但您可以在这里搜索使用firebase进行流式视频的其他用户（结果好坏参半）。不过，这与您尝试使用RTCPeerConnection所做的有些不同。示例：Firebase存储视频流