从 onCameraFrame、OpenCV、Android/Java 调用 HoughCircles() 方法时改变慢帧速率
Posted
技术标签:
【中文标题】从 onCameraFrame、OpenCV、Android/Java 调用 HoughCircles() 方法时改变慢帧速率【英文标题】：vary slow frame rate when calling HoughCircles() method from onCameraFrame, OpenCV, Android/Java 【发布时间】：2013-12-09 08:43:17 【问题描述】：在android中使用openCV Java方法检测图像中的圆形物体时帧速率极慢
Imgproc.HoughCircles(mGray, circles, Imgproc.CV_HOUGH_GRADIENT, 1, 50);
当我删除此方法时，它运行得很快，但在此回调中添加此方法后
public Mat onCameraFrame(final CvCameraViewFrame inputFrame)
帧速率减慢到每秒 1 到 2 帧，我不明白为什么它变得这么慢，我尝试将此方法放在单独的线程中，但没有帮助，唯一有效的方法是使用计数器和 if 语句每 10 帧运行一次方法。
在 OpenCV 示例中，有一个名为人脸检测的示例项目，它同时具有原生 C++ 和 Java 相机版本，并且它们都变化很快，当我使用类似的代码时，我怎么可能得到这个缓慢的便秘动作OpenCV？
我在这里做错了吗？在来自 openCV 示例的人脸检测项目中，他们获取每一帧并且不启动单独的线程。如何解决这个问题并让我的代码像 OpenCV 中的示例项目一样快速运行？
在另一个项目中，我也遇到了同样的帧速率慢的问题，在这个我没有使用 openCV 的练习项目中，它只是 android Camera 类，因为我从 onPreviewFrame( byte[] data, Camera camera) 方法并进行一些光处理，例如将 YUV 格式从字节数组转换为位图，并将其放入与相机视图相同的屏幕上的另一个视图中，结果是帧速率变慢。
编辑：在一些额外的实验中，我将 Imgproc.HoughCircles() 方法添加到 OpenCV 人脸检测示例项目中。将此方法放在 java 检测器的 onCameraFrame 方法中。
结果和我的项目一样，变慢了。所以 HoughCircles 方法可能比人脸检测方法 CascadeClassifier.detectMultiScale() 需要更多的处理能力，但这并不能解释我在 youtube 上观看了其他圆形检测项目并且在他们的视频中帧速率没有减慢的事实。这就是为什么我认为我所做的事情有问题。
这是我正在使用的代码示例
public class CircleActivity extends Activity implements CvCameraViewListener2
Mat mRgba;
Mat mGray;
File mCascadeFile;
CascadeClassifier mJavaDetector;
CameraBridgeViewBase mOpenCvCameraView;
LinearLayout linearLayoutOne;
ImageView imageViewOne;
int counter = 0;
private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this)
@Override
public void onManagerConnected(int status)
switch (status)
case LoaderCallbackInterface.SUCCESS:
Log.i("OPENCV", "OpenCV loaded successfully");
mOpenCvCameraView.enableView();
break;
default:
super.onManagerConnected(status);
break;
;
/** Called when the activity is first created. */
@Override
public void onCreate(Bundle savedInstanceState)
if (!OpenCVLoader.initDebug())
// Handle initialization error
super.onCreate(savedInstanceState);
setContentView(R.layout.activity_coffee);
getWindow().addFlags(WindowManager.LayoutParams.FLAG_KEEP_SCREEN_ON);
mOpenCvCameraView = (CameraBridgeViewBase) findViewById(R.id.fd_activity_surface_view);
mOpenCvCameraView.setCvCameraViewListener(this);
@Override
public void onPause()
super.onPause();
if (mOpenCvCameraView != null)
mOpenCvCameraView.disableView();
@Override
public void onResume()
super.onResume();
OpenCVLoader.initAsync(OpenCVLoader.OPENCV_VERSION_2_4_3, this, mLoaderCallback);
public void onDestroy()
super.onDestroy();
mOpenCvCameraView.disableView();
public void onCameraViewStarted(int width, int height)
mGray = new Mat();
mRgba = new Mat();
public void onCameraViewStopped()
mGray.release();
mRgba.release();
public Mat onCameraFrame(final CvCameraViewFrame inputFrame)
mRgba = inputFrame.rgba();
mGray = inputFrame.gray();
if(counter == 9)
MatOfRect circles = new MatOfRect();
Imgproc.HoughCircles(mGray, circles, Imgproc.CV_HOUGH_GRADIENT, 1, 50);
// returns number of circular objects found
Log.e("circle check", "circles.cols() " + circles.cols());
counterAdder();
return mRgba;
// end oncamera frame
public void counterAdder()
if (counter > 10)
counter = 0;
counter++;
【问题讨论】：
您是否尝试过降低相机帧的分辨率？ 这是一个有趣的想法，我还没有尝试过，正在使用全画幅。我会尝试一下，我能够使用计时器每 2 秒只拍摄一帧并评估该帧，然后等待 2 秒，然后再拉出另一帧，即向侦听器注册一个空对象，然后重新再次设置该侦听器，以便它再次开始调用 onCameraFrame() 回调方法。 你可以试试这个 mOpenCvCameraView.setMaxFrameSize(640, 480);。您可以进一步降低分辨率以获得更高的 fps，最高可达 20fps 将帧大小减小到 640、480 效果很好，帧速率变得更好，现在可以使用，在那个分辨率下，我没有注意到图像质量有很大的降低。这是图像质量和图像大小之间的良好折衷。 它的工作非常好，我会发布这个作为答案 【参考方案1】：降低相机帧的分辨率可能会有所帮助
mOpenCvCameraView.setMaxFrameSize(640, 480);
【讨论】：
【参考方案2】：根据我的简短经验，HoughCircles 的运行时间很大程度上取决于图像。具有大量潜在圆圈的纹理图像比具有统一背景的图像需要更长的时间。希望这会有所帮助。
【讨论】：
【参考方案3】：我也遇到过这个问题。
我尝试使用 mOpenCvCameraView.setMaxFrameSize(1280, 720); 降低相机分辨率
但是它仍然很慢。我一直在尝试与 Threads 并行工作，但它仍然是 3.5FPS。
public Mat onCameraFrame(CameraBridgeViewBase.CvCameraViewFrame inputFrame)
//System.gc();
carrierMat = inputFrame.gray();
Thread thread = new Thread(new MultThread(carrierMat, this));
thread.start();
try
thread.join();
catch (InterruptedException e)
e.printStackTrace();
return carrierMat;
我的 MultThread 类是这样的
public class MultThread implements Runnable
private Mat source;
private Context context;
public MultThread(Mat source, Context context)
this.source = source;
this.context = context;
@Override
public void run()
//output = General.Threshold(source);
int x = General.MSERP(source);
Log.i("MtMTxtDtc:Main","x: " + x);
if (x > 10)
((Vibrator) context.getSystemService(Context.VIBRATOR_SERVICE)).vibrate(500);
【讨论】：
【参考方案4】：您必须在后台而不是在主要活动中执行霍夫圆变换！
否则您的应用程序响应将太慢，并且可能由于应用程序无响应 (ANR) 错误而被操作系统杀死。
您需要将此课程添加到您的主要活动中，然后您就可以开始了。
private class HoughCircleTransformTask
extends AsyncTask<Mat, Void, Integer>
@Override
protected Boolean doInBackground(Mat mGray)
MatOfRect circles = new MatOfRect();
Imgproc.HoughCircles(mGray, circles, Imgproc.CV_HOUGH_GRADIENT, 1, 50);
// returns number of circular objects found
// then display it from onPostExecute()
return circles.cols();
@Override
protected void onPostExecute(Integer circlesCols)
// This is only logging
// You can display it in a TextView as well in the main activity
Log.e("circle check", "circles.cols() " + circles.cols());
只用一行代码从 onCameraFrame 调用它
public Mat onCameraFrame(final CvCameraViewFrame inputFrame)
mRgba = inputFrame.rgba();
mGray = inputFrame.gray();
if(counter == 9)
// call AsyncTask
new HoughCircleTransformTask().execute(mGray);
counterAdder();
return mRgba;
// end oncamera frame
【讨论】：
以上是关于从 onCameraFrame、OpenCV、Android/Java 调用 HoughCircles() 方法时改变慢帧速率的主要内容，如果未能解决你的问题，请参考以下文章
OpenCV && C++ 03 - Save an Image to a File