RTMP自适应码率算法

Question

我在网上搜索了一下，但这方面的信息很少。

我有一个直播应用程序，在那里我发送编码的H264视频帧和AAC音频块产生的相机和麦克风使用Android MediaCodec SDK，通过RTMP堆栈。

我的直播流是720p，我的目标是2500kbps的高质量。这显然需要一个非常好的网络连接，这意味着4G如果你使用数据计划。

问题是即使是最大的连接也会有低峰值和拥塞，所以有时网络无法容纳如此大的流。因为我想提供高可靠性，我想包括自动自适应比特率在我的应用程序，使图像质量下降有利于或可靠性。

问题是--如何在不丢失帧的情况下实现这种对网络条件的自动适应？有可能吗？我使用过像Cerevo这样的专业编码设备，它们从来不会丢失帧--但是在我的应用程序中，我总是会因为P帧丢失在网络中而受到一些可怕的拖曳。

这就是我目前拥有的：

private long adaptBitrate(long idleNanos, Frame frame) {
        int bytes = frame.getSize();
        long nowNanos = System.nanoTime();
        if (nowNanos - mLastNanos > 1000L * 1000 * 1000) {
            double idle = (double) idleNanos / (double) (nowNanos - mLastNanos);
            float actualBitrate = newBitrate;

            int size = mBuffer.size();
            String s = "Bitrate: " + actualBitrate / 1000
                    + " kbps In-Flight:" + bytes
                    + " idle: " + idle;
            if (size > MAX_BUF_SIZE && size > mLastSize) {
                Log.i(TAG, "adaptBitrate: Dropping bitrate");
                newBitrate = (int) ((double) actualBitrate * BITRATE_DROP_MULTIPLIER);
                if (newBitrate < MIN_BITRATE) {
                    newBitrate = MIN_BITRATE;
                }
                s += "   late => " + newBitrate;
                mRtmpHandler.requestBitrate(newBitrate);
            } else if (size <= 2 && idle > IDLE_THRESHOLD) {
                mIdleFrames++;
                if(mIdleFrames >= MIN_IDLE_FRAMES){
                    Log.i(TAG, "adaptBitrate: Raising bitrate");
                    newBitrate = (int) ((double) newBitrate * BITRATE_RAISE_MULTIPLIER);
                    if (newBitrate > MAX_BITRATE) {
                        newBitrate = MAX_BITRATE;
                    }
                    s += "   idle => " + newBitrate;
                    mRtmpHandler.requestBitrate(newBitrate);
                    mIdleFrames = 0;
                }
            }
            debugThread(Log.VERBOSE, s);
            mLastNanos = System.nanoTime();
            mLastSize = size;
            idleNanos = 0;
        }
        return idleNanos;
    }

因此，如果我的缓冲区超过一个阈值，我就降低比特率。如果我的应用程序花费了太多的时间等待一个新的帧，连续的帧数，那么我会提高比特率。

无论我对阈值有多么谨慎，我总是丢失重要的信息，我的流中断，直到下一个关键帧到达（2秒）。有时，网络似乎可以保持一定的比特率（例如，稳定在1500kbps)，但图像仍然会有一些拖拽，就好像中途丢失了一帧。有了良好的网络条件，一切顺利。

Answer 1

令人惊讶的是，网上确实没有关于广播方自适应比特率的信息。当我不得不用RTSP和两个rtp套接字实现类似的东西时，我采用了类似的方法，创建了一个轮询类，当数据包缓冲区>$GOOD_PCT空闲时，它将适度增加mediacodec的比特率，当队列小于$BAD_PCT空闲时，它将积极地将比特率减半，如果介于两者之间，则不执行任何操作。在这里部分看到。我不确定我有一个完整的图片，您的解决方案基于张贴的代码，但您是在直接调整mediacodec比特率，对吗？唯一一次发生损坏是当我从mediacodec请求同步帧时，所以如果它在您的代码中，请避免发生这种情况。希望这有帮助。