Android中opencv的网络摄像头捕获，用ffmpeg构建，并为Android编译

Question

我刚买了一台onwave ip相机，主要目的是使用Android Tablet进行图像处理和监控。在本机编码的同时，用FFMPEG对java、python和C++进行交叉编译。Videocapture类与ip相机的url配合工作非常完美。它显示了使用rtsp协议进行流的ipcamera的帧。例如在C++中

       Mat frame
        Videocapture cap;
         cap.open(rtsp:// the url);
           while(true)
           {
               cap.read(frame);
               waitkey(1);
            } 

代码工作得很好，它给了我局域网上相机流的帧，几乎没有延迟。对于python和对于Java编译时也是如此。

但是问题来了，因为android的opencv sdk原生支持ffmpeg，一开始我不想用android的ffmpeg重新编译它，而是选择了JavaCV，它带有预构建的ffmpegframegrabber类，还保留了opencv的原生源代码。然而，framegrabber失败了，当我尝试用位图显示帧时，有很大的数据包丢失和帧乱码的渲染问题，也尝试用FrameRecorder类，在后台记录文件，但结果相同。后来我尝试使用Android的Mediaplayer。附件是我使用Mediaplayer的代码。

    package com.example.rob.androidipcamera4;

   import android.app.Activity;
   import android.content.Context;
   import android.media.MediaPlayer;
   import android.net.Uri;
   import android.support.v7.app.AppCompatActivity;
   import android.os.Bundle;
   import android.util.Base64;
   import android.view.SurfaceHolder;
   import android.view.SurfaceView;
   import android.view.Window;
   import android.view.WindowManager;


  import java.io.IOException;
  import java.util.HashMap;
  import java.util.Map;

  public class MainActivity extends Activity implements        MediaPlayer.OnPreparedListener,SurfaceHolder.Callback {
final static String RTSP_URL="rtsp://192.168.1.7:554/onvif1";
private static String USERNAME="";
private static String PASSWORD="";
private MediaPlayer mediaplayer;
private  SurfaceHolder surfaceholder;

@Override
protected void onCreate(Bundle savedInstanceState) {
    super.onCreate(savedInstanceState);
    requestWindowFeature(Window.FEATURE_NO_TITLE);
    Window window=getWindow();
    window.setFlags(WindowManager.LayoutParams.FLAG_FULLSCREEN,WindowManager.LayoutParams.FLAG_FULLSCREEN);
    window.setBackgroundDrawableResource(android.R.color.black);
    setContentView(R.layout.activity_main);
    //Configuring the surfaceview
    SurfaceView surfaceView=(SurfaceView)findViewById(R.id.surfaceView);
    surfaceholder = surfaceView.getHolder();
    surfaceholder.addCallback(this);
    surfaceholder.setFixedSize(320,320);
}

@Override
public void onPrepared(MediaPlayer mp) {
    mediaplayer.start();

}

@Override
public void surfaceCreated(SurfaceHolder sh)  {
    mediaplayer=new MediaPlayer();
    mediaplayer.setDisplay(surfaceholder);
    Context context=getApplicationContext();
    Map<String,String>headers=getRTSPHeaders();
    Uri source=Uri.parse(RTSP_URL);
    try{
        mediaplayer.setDataSource(context,source,headers);
        mediaplayer.setOnPreparedListener(this);
        mediaplayer.prepareAsync();
    }
    catch (Exception e){
        System.out.println("Sorry no media ");
    };
   }

@Override
public void surfaceChanged(SurfaceHolder sh, int f, int w, int h) {}

@Override
public void surfaceDestroyed(SurfaceHolder sh) {
    mediaplayer.release();

}
private  Map<String,String>getRTSPHeaders() {
    Map<String,String>headers=new HashMap<String, String>();
    String basicAuthValue=getBasicAuthValue(USERNAME,PASSWORD);
    headers.put("Authorisation",basicAuthValue);
    return headers;
}
private String getBasicAuthValue(String usr,String pwd){
    String credientials=usr+":"+pwd;
    int flags= Base64.URL_SAFE|Base64.NO_WRAP;
    byte[]bytes=credientials.getBytes();
    return "Basic" + Base64.encodeToString(bytes,flags) ;

}
}

虽然帧的分辨率很好，也给了我一个选择，采取每一帧和做一些运动检测，但有大约7秒的延迟在现场流，这是完全不能接受的监测。

所以我想我又回到了为android编译ffmpeg的起点。我只是有疑问，因为用opencv编译的ffmpeg在C++和Python（在linux上）中完美无缺地工作了0.2秒，用android编译ffmpeg是否会给我同样的结果，我是否可以像在C++中那样使用Videocapture类，而不使用NDK？如果有人曾经使用官方SDK在Android平板电脑和带有ipcam的手机上尝试过这一点，那将是非常有帮助的。或者，是否有其他方法可以使用mediaplayer或JavaCV，让我在没有任何乱码帧的情况下轻松或没有延迟

Answer 1

为ffmpeg配置您想要的一切需要一些时间，尽管我有一段时间没有接触它，也许有些东西改变了。更好的开始是寻找一个已经集成了它的github项目，从这个开始，应该有很多他们躺在周围（找一个最近的）。当我做视频通话的时候，大约三年前，没有合适的Android媒体API，目前有低级回调，所以你应该成功地实现你想要的任何东西。