AVPlayer HLS实时流电平计（显示FFT数据）

Question

我正在使用AVPlayer作为使用HTTP实时流的无线电应用程序。现在我想为该音频流实现一个电平表。最好是一个显示不同频率的电平表，但是一个简单的左/右解决方案将是一个很好的起点。

我发现了几个使用AVAudioPlayer的示例。但是我无法找到从AVPlayer获取所需信息的解决方案。

有人能想出解决我问题的办法吗？

编辑我想创建这样的东西（但更好）

编辑二

一个建议是使用MTAudioProcessingTap来获取原始音频数据。我可以使用[[u player currentItem]asset]tracks]数组找到示例，在我的例子中，数组是一个空数组。另一个建议是使用audioMix，对我来说它是空的。

编辑III

多年过去了，似乎仍然没有解决办法。我确实取得了进步，所以我将与大家分享。

在设置过程中，我将向playerItem添加一个键值观察者：

[[[self player] currentItem] addObserver:self forKeyPath:@"tracks" options:kNilOptions context:NULL];

//////////////////////////////////////////////////////

- (void)observeValueForKeyPath:(NSString *)keyPath ofObject:(id)object change:(NSDictionary *)changecontext:(void *)context
    if ([keyPath isEqualToString:@"tracks"] && [[object tracks] count] > 0) {
        for (AVPlayerItemTrack *itemTrack in [object tracks]) {
            AVAssetTrack *track = [itemTrack assetTrack];

            if ([[track mediaType] isEqualToString:AVMediaTypeAudio]) {
                [self addAudioProcessingTap:track];
                break;
            }
        }
}

- (void)addAudioProcessingTap:(AVAssetTrack *)track {
    MTAudioProcessingTapRef tap;
    MTAudioProcessingTapCallbacks callbacks;
    callbacks.version = kMTAudioProcessingTapCallbacksVersion_0;
    callbacks.clientInfo = (__bridge void *)(self);
    callbacks.init = init;
    callbacks.prepare = prepare;
    callbacks.process = process;
    callbacks.unprepare = unprepare;
    callbacks.finalize = finalise;

    // more tap setup...

    AVMutableAudioMix *audioMix = [AVMutableAudioMix audioMix];

    AVMutableAudioMixInputParameters *inputParams = [AVMutableAudioMixInputParameters audioMixInputParametersWithTrack:audioTrack];
    [inputParams setAudioTapProcessor:tap];
    [audioMix setInputParameters:@[inputParams]];

    [[[self player] currentItem] setAudioMix:audioMix];
}

到现在为止，一直都还不错。这一切都是可行的，我可以找到正确的轨迹并设置inputParams和audioMix等。但不幸的是，唯一被调用的回调是init回调。其他人在任何时候都不会开火。

我尝试了不同（种类）的流源，其中之一是Apple HLS官方流：http://devimages.apple.com/iphone/samples/bipbop/bipbopall.m3u8

Answer 1

使用AVPlayer测量音频似乎是一个仍在进行的问题。话虽如此，我相信可以通过将AVPlayer与AVAudioRecorder相结合来解决问题。

虽然这两个类的目的似乎相互矛盾，但有一种解决方法允许AVAudioRecorder访问AVPlayer的音频输出。

如本堆栈溢出回答中所述，如果您使用kAudioSessionProperty_AudioRouteChange访问音频路由更改，则可以录制AVPlayer的音频。

请注意，必须在访问音频路由更改后开始录音。使用链接的堆栈答案作为参考-它包括更多详细信息和必要的代码。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

一旦您可以访问AVPlayer的音频路由并进行录制，测量就相对简单了。

在我对关于测量麦克风输入的堆栈问题的回答中，我描述了访问音频电平测量所需的步骤。使用AVAudioRecorder来监控音量变化比人们想象的要复杂，所以我包含了一个GitHub项目，作为在录制时监控音频变化的模板。

~~~~~~~~~~~~~~~~~~~~~~~~请注意~~~~~~~~~~~~~~~~~~~~~~~~~~

在HLS直播中的这种组合不是我测试过的。这个答案严格来说是理论上的，所以可能需要对两个类都有很好的理解才能完全解决。

Answer 2

遗憾的是，将HLS流与AVFoundation一起使用并不能控制音频轨迹。我在试图使HLS流静音时遇到了同样的问题，结果证明这是不可能的。

读取音频数据的唯一方法是点击音频会话。

编辑

您可以这样访问AVAudioSession：

[AVAudioSession sharedInstance]

这是AVAudioSession的文档