使用AVAudioEngine的实时音频

Question

嘿。我想在Swift中用新的AvaudioEngine实现一个实时音频应用程序。有人对新框架有经验吗？实时应用程序如何工作？

我的第一个想法是将（处理过的）输入数据存储到AvaudioPcmBuffer对象中，然后让它通过AvaudioPlayerNode播放，如您在我的演示类中所见：

import AVFoundation

class AudioIO {
    var audioEngine: AVAudioEngine
    var audioInputNode : AVAudioInputNode
    var audioPlayerNode: AVAudioPlayerNode
    var audioMixerNode: AVAudioMixerNode
    var audioBuffer: AVAudioPCMBuffer

    init(){
        audioEngine = AVAudioEngine()
        audioPlayerNode = AVAudioPlayerNode()
        audioMixerNode = audioEngine.mainMixerNode

        let frameLength = UInt32(256)
        audioBuffer = AVAudioPCMBuffer(PCMFormat: audioPlayerNode.outputFormatForBus(0), frameCapacity: frameLength)
        audioBuffer.frameLength = frameLength

        audioInputNode = audioEngine.inputNode

        audioInputNode.installTapOnBus(0, bufferSize:frameLength, format: audioInputNode.outputFormatForBus(0), block: {(buffer, time) in
            let channels = UnsafeArray(start: buffer.floatChannelData, length: Int(buffer.format.channelCount))
            let floats = UnsafeArray(start: channels[0], length: Int(buffer.frameLength))

            for var i = 0; i < Int(self.audioBuffer.frameLength); i+=Int(self.audioMixerNode.outputFormatForBus(0).channelCount)
            {
                // doing my real time stuff
                self.audioBuffer.floatChannelData.memory[i] = floats[i];
            }
            })

        // setup audio engine
        audioEngine.attachNode(audioPlayerNode)
        audioEngine.connect(audioPlayerNode, to: audioMixerNode, format: audioPlayerNode.outputFormatForBus(0))
        audioEngine.startAndReturnError(nil)

        // play player and buffer
        audioPlayerNode.play()
        audioPlayerNode.scheduleBuffer(audioBuffer, atTime: nil, options: .Loops, completionHandler: nil)
    }
}

但这离实时很远，效率也不是很高。有什么想法或经历吗？如果您更喜欢Objective-C或Swift，我非常感谢所有的注释、评论、意见、解决方案等。

Answer 1

我一直在Objective-C和Swift中试验AVAudioEngine。在我的引擎的Objective-C版本中，所有音频处理都完全用C语言完成（通过缓存通过AVAudioPCMBuffer获得的原始C示例指针，并仅用C代码对数据进行操作）。表演令人印象深刻。出于好奇，我把这个引擎移植到了Swift上。对于像线性播放音频文件或通过FM合成生成音调这样的任务，性能相当不错，但一旦涉及到阵列（例如，在粒度合成中，音频部分以非线性方式回放和操作），性能就会受到显著影响。即使进行了最好的优化，CPU使用率也比Objective-C/C版本高出30-40%。我刚接触过Swift，所以可能还有其他一些我不知道的优化，但就我所知，C/C++仍然是实时音频的最佳选择。还要看看惊人的音频引擎。我正在考虑这一点，以及直接使用旧的C API。

如果您需要处理现场音频，那么AVAudioEngine可能不适合您。请参阅我对此问题的回答：我希望每秒调用20次installTaponbus：buffersize：format：block：