Android，实时振幅和音高检测

Question

我正在编写一个应用程序，它需要监听麦克风并给我一个实时的振幅和音调输出。我已经找到了如何进行音高识别的方法。我对fft做了很多研究。找到了Android库TarsosDSP wich，使听音高变得非常简单：

AudioDispatcher dispatcher = 
        AudioDispatcherFactory.fromDefaultMicrophone(22050,1024,0);
PitchDetectionHandler pdh = new PitchDetectionHandler() {
    @Override
    public void handlePitch(PitchDetectionResult res, AudioEvent e){
        final float pitchInHz = res.getPitch();
        runOnUiThread(new Runnable() {
            @Override
            public void run() {
                processPitch(pitchInHz);
            }
        });
    }
};
AudioProcessor pitchProcessor = new PitchProcessor(PitchEstimationAlgorithm.FFT_YIN, 22050, 1024, pdh);
dispatcher.addAudioProcessor(pitchProcessor);

Thread audioThread = new Thread(dispatcher, "Audio Thread");
audioThread.start();

我还研究了如何使用内置android进行振幅检测。GetMaxAmplific（）方法。

但我的问题是，我一辈子都不知道如何同时做这两件事。问题是你显然可以运行多个麦克风实例。就像你试图在不同的线程上运行两个单独的现场录音一样。我在整个互联网上寻找一些示例代码来让我继续前进，但我找不到任何东西。有人必须做类似的事情吗？

编辑我发现您可以使用Pitchdetectionhandler中的AudioEvent。音频事件。根据文档，getbytebuffer（）返回一个字节数组，音频数据以字节为单位：https://0110.be/releases/TarsosDSP/TarsosDSP-latest/TarsosDSP-latest-Documentation/。

如果我没有弄错，当转换成短[]时，最大值就是最大振幅，对吗？

但是：

final byte[] audioBytes = e.getByteBuffer();
 short[] shortArray = new short[audioBytes.length];
         for (int index = 0; index < audioBytes.length; index++) {
                    shortArray[index] = (short) audioBytes[index];
                            float item = shortArray[index];
                               if (item > amp){
                                        amp = item;
                                    }
                                }

在这种情况下，amp总是返回127。这种方法无论如何都不会在现场工作？

还有三个问题。我的基本思路是否正确，如果是，为什么它总是返回127，以及我将如何在实际环境中使用它。

Answer 1

我自己找到了解决方案。您可以执行audioEvent。getFloatBuffer（）然后通过一些fft方法运行该缓冲区，然后可以从缓冲区中提取振幅值。缓冲区很小，所以我在缓冲区运行时得到了最大振幅，这会让你每秒读取多次振幅读数，这对我来说已经足够了。编辑示例：

 public void handlePitch(PitchDetectionResult result, final AudioEvent e) {

                        final float pitchInHz = result.getPitch();
                        final float[] amplitudes = new float[e.getBufferSize()];

                        new Thread(new Runnable() {
                            public void run() {
                                if (pitchInHz > pitch) {
                                    pitch = pitchInHz;
                                }

                                float[] audioFloatBuffer = e.getFloatBuffer();
                                float[] transformBuffer = new float[e.getBufferSize() * 2];
                                FFT fft = new FFT(e.getBufferSize());
                                System.arraycopy(audioFloatBuffer, 0, transformBuffer, 0, audioFloatBuffer.length);
                                fft.forwardTransform(transformBuffer);
                                fft.modulus(transformBuffer, amplitudes);


                                for (int index = 0; index < amplitudes.length; index++) {
                                    if (amplitudes[index] > amp) {
                                        amp = amplitudes[index];
                                    }
                                }
                            }
                        }).start();
                    }