TargetDataLine和Xuggler通过屏幕视频录制音频

Question

TargetDataLine是迄今为止用Java捕获麦克风输入的最简单方法。我想对我用屏幕视频（在屏幕录制软件中）捕获的音频进行编码，以便用户可以创建教程、幻灯片盒等。
我使用Xuggler对视频进行编码<他们确实有一个用视频编码音频的教程，但他们从文件中获取音频。就我而言，音频是实时的

参考文献：
1. DavaDoc for TargetDataLine：http://docs.oracle.com/javase/1.4.2/docs/api/javax/sound/sampled/TargetDataLine.html
2. Xugler文档：http://build.xuggle.com/view/Stable/job/xuggler_jdk5_stable/javadoc/java/api/index.html

public void run(){
        final IRational FRAME_RATE = IRational.make(frameRate, 1);
        final IMediaWriter writer = ToolFactory.makeWriter(completeFileName);
        writer.addVideoStream(0, 0,FRAME_RATE, recordingArea.width, recordingArea.height);
        long startTime = System.nanoTime();

        while(keepCapturing==true){
            image = bot.createScreenCapture(recordingArea);
            PointerInfo pointerInfo = MouseInfo.getPointerInfo();
            Point globalPosition = pointerInfo.getLocation();

            int relativeX = globalPosition.x - recordingArea.x;
            int relativeY = globalPosition.y - recordingArea.y;

            BufferedImage bgr = convertToType(image,BufferedImage.TYPE_3BYTE_BGR);
            if(cursor!=null){
                bgr.getGraphics().drawImage(((ImageIcon)cursor).getImage(), relativeX,relativeY,null);
            }
            try{
                writer.encodeVideo(0,bgr,System.nanoTime()-startTime,TimeUnit.NANOSECONDS);
            }catch(Exception e){
                writer.close();
                JOptionPane.showMessageDialog(null, 
                        "Recording will stop abruptly because" +
                        "an error has occured", "Error",JOptionPane.ERROR_MESSAGE,null); 
            }

            try{
                sleep(sleepTime);
            }catch(InterruptedException e){
                e.printStackTrace();
            }
        }
        writer.close();

    }

Answer 1

我最近在这个问题下回答了大部分问题：Xugler编码和混搭

代码示例：

writer.addVideoStream(videoStreamIndex, 0, videoCodec, width, height);
writer.addAudioStream(audioStreamIndex, 0, audioCodec, channelCount, sampleRate);

while (... have more data ...)
{
    BufferedImage videoFrame = ...;
    long videoFrameTime = ...; // this is the time to display this frame
    writer.encodeVideo(videoStreamIndex, videoFrame, videoFrameTime, DEFAULT_TIME_UNIT);

    short[] audioSamples = ...; // the size of this array should be number of samples * channelCount
    long audioSamplesTime = ...; // this is the time to play back this bit of audio
    writer.encodeAudio(audioStreamIndex, audioSamples, audioSamplesTime, DEFAULT_TIME_UNIT);
}

对于TargetDataLine，getMicrosecondPosition（）将告诉您audioSamplesTime所需的时间。这似乎是从打开TargetDataLine时开始的。您需要弄清楚如何获取引用同一时钟的视频时间戳，这取决于视频设备和/或捕获视频的方式。只要它们都使用相同的时钟，绝对值就无关紧要。您可以从视频和音频时间中减去初始值（在流开始时），以便时间戳匹配，但这只是一个近似匹配（在实践中可能足够接近）。

您需要以严格递增的时间顺序调用codeVideo和codeAudio；您可能必须缓冲一些音频和一些视频以确保您可以做到这一点。这里有更多详细信息。