与音频流格式和核心音频数据类型的混淆

Question

我正在使用核心音频（与swift包装）播放一些音频样本（一个简短的刺激，其中记录一个冲动）。我坚持使用核心音频，而不是更新的AVFoundation，因为我需要一些严格的定时和多设备输入，更新的框架还没有涵盖（我通过苹果代码请求他们告诉我必须使用核心音频）。

我现在创建了一个非常简单的正弦波，使用：

func createSine()->[Float]{
    var timeArray = makeArray(from: ((1.0/Float(sampleRate))*((-0.5)*Float(kernelLength))), to: ((1.0/Float(sampleRate))*((0.5)*Float(kernelLength))), increment: 1/sampleRate)
    var sineArray = Array(repeating:0, count: timeArray.count)

    for i in 0..<timeArray.count {
            let x = 2 * Float.pi * 1000 * testTimeArray[i]
            sineArray[i] = cos(x)
    }
}

如果我把它写到一个wav文件并回放，音调就会按预期的方式创建。

然而，我实际上想在应用程序中触发这个声音。我已经设置了我的AUGRAPE，并用音频单元填充了它。我已经创建了一个AURenderCallback，它在混频器的输入上被调用。每次，这个输入都需要它调用这个回调函数的信号。

let genCallback: AURenderCallback = { (
    inRefCon,
    ioActionFlags,
    inTimeStamp,
    inBusNumber,
    frameCount,
    ioData) -> OSStatus in

        let audioObject = unsafeBitCast(inRefCon, to: AudioEngine.self)

        for buffer in UnsafeMutableAudioBufferListPointer(ioData!) {
            var frames = buffer.mData!.assumingMemoryBound(to: Float.self)

            var j = 0

             for i in stride(from: 0, to: Int(frameCount), by: 2) {

                frames[i] = Float((audioObject.Stimulus[j + audioObject.stimulusReadIndex]))

                j += 1

            }

            audioObject.stimulusReadIndex += Int(frameCount/2)
        }
    }

   return noErr;
}

其中AudioObject.Instruction是我的SineArray,而AudioObject.InstrucusReadIndex只是一个计数器，用来记住数组中已读取的内容。

如果我查看mixer单元的AudioStreamBasicDescription（因为这是在调用render回调，所以我有以下内容：

var audioFormat = AudioStreamBasicDescription()
    audioFormat.mSampleRate            = 44100.00;
    audioFormat.mFormatID            = kAudioFormatLinearPCM;
    audioFormat.mFormatFlags        = kAudioFormatFlagIsPacked | kAudioFormatFlagIsSignedInteger;
    audioFormat.mFramesPerPacket    = 1;
    audioFormat.mChannelsPerFrame    = 2;
    audioFormat.mBitsPerChannel        = 16;
    audioFormat.mBytesPerPacket        = 4;
    audioFormat.mBytesPerFrame        = 4;
    audioFormat.mReserved             = 0;

  status = AudioUnitSetProperty(mixerUnit!,
                                  kAudioUnitProperty_StreamFormat,
                                  kAudioUnitScope_Input,
                                  1,
                                  &stimFormat,
                                  UInt32(MemoryLayout<AudioStreamBasicDescription>.size));
    checkStatus(status: status!);

所以这告诉了我一些事情。它需要两个通道，并且是交织的（因为非交织标志不存在）。在回调函数中，我将帧间隔2以只在第一个通道中填充示例。如果我从1开始，并回放音频被写入并回放到右手边。

采样率是正确的，但是比特率是16（Float不是），我可以看到有一个标志'is signedinteger'，所以这是一个不同的格式。

for i in 0..<sineArray.count{
       sineArray[i] =  Int16.init((32767 * sweepSamples[i]))
    }

我看不出如何以core audio希望看到的格式表示此数据。我尝试将格式标志更改为kAudioFormatFlagIsFloat，但仍然没有成功。

Answer 1

给定[Float]数据，您可能希望使用kAudioFormatFlagIsSignedInteger和32位（每个数据包和帧8字节），而不是kAudioFormatFlagIsFloat和每个通道16位。

请注意，对于所有最新的iOS设备，本机音频格式是32位浮点数，而不是16位int数，使用本机（硬件？）采样率是48000，而不是44100。

此外，请注意，苹果建议不要在音频回调上下文中使用Swift（参见2017或2018年WWDC关于音频的会话），因此您的音频单元渲染回调可能应该调用一个C函数来完成所有工作（任何涉及ioData或inRefCon的工作）。

您可能还需要检查以确保数组索引没有超出数组边界。