使用 Android Camera2 API 进行人脸检测和画圆
Posted
技术标签:
【中文标题】使用 Android Camera2 API 进行人脸检测和画圆【英文标题】:Face detection & draw circle using Android Camera2 API 【发布时间】:2018-07-04 06:13:15 【问题描述】:目前我正在尝试将 Camera2.Face 转换为实际视图的矩形,以便在 Camera2 API 检测到的面部上绘制圆圈。
我可以通过以下代码将面孔数量及其数据放入回调中:
private CameraCaptureSession.CaptureCallback mCaptureCallback
= new CameraCaptureSession.CaptureCallback()
private void process(CaptureResult result)
Integer mode = result.get(CaptureResult.STATISTICS_FACE_DETECT_MODE);
Face [] faces = result.get(CaptureResult.STATISTICS_FACES);
if(faces != null && mode != null)
Log.e("tag", "faces : " + faces.length + " , mode : " + mode );
@Override
public void onCaptureProgressed(CameraCaptureSession session, CaptureRequest request, CaptureResult partialResult)
process(partialResult);
@Override
public void onCaptureCompleted(CameraCaptureSession session, CaptureRequest request, TotalCaptureResult result)
process(result);
到目前为止,我尝试使用以下代码将 Face rect 转换为实际视图坐标(似乎它不起作用):
/**
* Callback from the CameraCaptureSession.CaptureCallback
*/
@Override
public void onFaceDetection(Face[] faces)
if (mCameraView != null)
setFaceDetectionMatrix();
setFaceDetectionLayout(faces);
/**
* This method gets the scaling values of the face in matrix
*/
private void setFaceDetectionMatrix()
// Face Detection Matrix
mFaceDetectionMatrix = new Matrix();
// Need mirror for front camera.
boolean mirror = mCameraView.getFacing() == CameraView.FACING_FRONT;
mFaceDetectionMatrix.setScale(mirror ? -1 : 1, 1);
mFaceDetectionMatrix.postRotate(mCameraDisplayOrientation);
Rect activeArraySizeRect = mCameraView.getCameraCharacteristics().get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);
Log.i("Test", "activeArraySizeRect1: (" + activeArraySizeRect + ") -> " + activeArraySizeRect.width() + ", " + activeArraySizeRect.height());
Log.i("Test", "activeArraySizeRect2: " + cameraOverlayDrawingView.getWidth() + ", " + cameraOverlayDrawingView.getHeight());
float s1 = cameraOverlayDrawingView.getWidth() / activeArraySizeRect.width();
float s2 = cameraOverlayDrawingView.getHeight() / activeArraySizeRect.height();
mFaceDetectionMatrix.postScale(s1, s2);
mFaceDetectionMatrix.postTranslate(cameraOverlayDrawingView.getWidth() / 2, cameraOverlayDrawingView.getHeight() / 2);
/**
* This method set the matrix for translating rect
*/
private void setFaceDetectionLayout(Face[] faces)
if (faces.length == 0)
cameraOverlayDrawingView.setHaveFaces(false, null);
else if (faces.length > 0)
List<Rect> faceRects;
faceRects = new ArrayList<>();
for (int i = 0; i < faces.length; i++)
Log.i("Test", "Activity face" + i + " bounds: " + faces[i].getBounds());
if (faces[i].getScore() > 50)
int left = faces[i].getBounds().left;
int top = faces[i].getBounds().top;
int right = faces[i].getBounds().right;
int bottom = faces[i].getBounds().bottom;
Rect uRect = new Rect(left, top, right, bottom);
RectF rectF = new RectF(uRect);
mFaceDetectionMatrix.mapRect(rectF);
uRect.set((int) rectF.left, (int) rectF.top, (int) rectF.right, (int) rectF.bottom);
Log.i("Test", "Activity rect" + i + " bounds: " + uRect);
faceRects.add(uRect);
cameraOverlayDrawingView.setHaveFaces(true, faceRects);
【问题讨论】:
值得在 github 上发布一个示例应用程序,这样我们就可以玩弄它,也许会找到解决方案 我已经添加了代码来根据这个链接在圆上画圆:github.com/rajktariya/android-Camera2-Front-with-Face-Detection/… 这些计算是错误的还是它不起作用是什么意思?可以发个截图吗? 你的意思是它不工作。所以有什么错误吗? 还没有。如果我发现了什么,我一定会告诉你的。 【参考方案1】:新: 我已经管理了我所有的手机轮换。我猜 offsetDxDy 取决于我的布局,但如果我不得不告诉你真相,我不知道为什么我将值设置为 100。它在我的华为 P9 上运行良好,我以经验的方式找到了它。我还没有尝试找出是否取决于我的手机或我的 XML 布局或两者兼而有之。
无论如何,矩阵现在已经找到了,所以你可以调整它们以适应你的需要。
注意:我的setRotation
不是那么通用,因为我没有对其进行参数化
int orientationOffset = mCameraCharacteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
您可以尝试这样做,以使完整的通用代码与 SENSOR_ORIENTATION
不同,与此示例中的 270 不同。
因此,此代码适用于带有硬件摄像头传感器且方向为 270 的手机。
华为 P9 有它。
只是为了让您了解如何将旋转绑定到 se 硬件传感器方向,这在我的 P9 上也能正常工作(但我没有任何其他硬件要测试)
if (mSwappedDimensions)
// Display Rotation 0
mFaceDetectionMatrix.setRotate(orientationOffset);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getHeight() + offsetDxDy, mPreviewSize.getWidth() + offsetDxDy);
else
// Display Rotation 90 e 270
if (displayRotation == Surface.ROTATION_90)
mFaceDetectionMatrix.setRotate(orientationOffset + 90);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getWidth() + offsetDxDy, -offsetDxDy);
else if (displayRotation == Surface.ROTATION_270)
mFaceDetectionMatrix.setRotate(orientationOffset + 270);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(-offsetDxDy, mPreviewSize.getHeight() + offsetDxDy);
这是我的最终代码(也可以在 GitHub 上找到)
int orientationOffset = mCameraCharacteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
Rect activeArraySizeRect = mCameraCharacteristics.get(CameraCharacteristics.SENSOR_INFO_ACTIVE_ARRAY_SIZE);
// Face Detection Matrix
mFaceDetectionMatrix = new Matrix();
Log.i("Test", "activeArraySizeRect1: (" + activeArraySizeRect + ") -> " + activeArraySizeRect.width() + ", " + activeArraySizeRect.height());
Log.i("Test", "activeArraySizeRect2: " + mPreviewSize.getWidth() + ", " + mPreviewSize.getHeight());
float s1 = mPreviewSize.getWidth() / (float)activeArraySizeRect.width();
float s2 = mPreviewSize.getHeight() / (float)activeArraySizeRect.height();
//float s1 = mOverlayView.getWidth();
//float s2 = mOverlayView.getHeight();
boolean mirror = (facing == CameraCharacteristics.LENS_FACING_FRONT); // we always use front face camera
boolean weAreinPortrait = true;
int offsetDxDy = 100;
if (mSwappedDimensions)
// Display Rotation 0
mFaceDetectionMatrix.setRotate(270);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getHeight() + offsetDxDy, mPreviewSize.getWidth() + offsetDxDy);
else
// Display Rotation 90 e 270
if (displayRotation == Surface.ROTATION_90)
mFaceDetectionMatrix.setRotate(0);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(mPreviewSize.getWidth() + offsetDxDy, -offsetDxDy);
else if (displayRotation == Surface.ROTATION_270)
mFaceDetectionMatrix.setRotate(180);
mFaceDetectionMatrix.postScale(mirror ? -s1 : s1, s2);
mFaceDetectionMatrix.postTranslate(-offsetDxDy, mPreviewSize.getHeight() + offsetDxDy);
这是您在其中的公共 github 存储库 可以找到代码: https://github.com/shadowsheep1/android-camera2-api-face-recon。希望可以 帮你。
无论如何也只是为了给你一些理论,你正在做的是一个 2D 平面变换。我的意思是您有一个平面(硬件传感器),您必须在预览平面上重新映射该平面上的对象。
所以你必须照顾:
旋转:这取决于您的硬件传感器旋转和手机旋转。 镜像:水平镜像取决于您是否使用前置摄像头,垂直镜像取决于手机旋转)。镜像是通过缩放矩阵中的“-”符号完成的。 平移:这取决于您的对象通过旋转(这也取决于您正在处理的旋转中心)和平移放置在哪里。因此,您必须在预览中替换查看您的对象。数学理论
前段时间我也在我的博客上写过一些技术文章,但都是意大利语的。
http://www.versionestabile.it/blog/trasformazioni-nel-piano/ http://www.versionestabile.it/blog/coordinate-omogenee/【讨论】:
此解决方案适用于纵向模式。非常感谢您在其中度过了愉快的时光。 如果没有人脸怎么清除画圈 谢谢Shadowsheep,我正面临后置摄像头面部检测的问题。我可以得到前置摄像头 2 的矩阵吗?以上是关于使用 Android Camera2 API 进行人脸检测和画圆的主要内容,如果未能解决你的问题,请参考以下文章
使用新的 Android camera2 api 从 YUV_420_888 进行 JPEG 编码时的绿色图像
关于使用Android新版Camera即Camera2的使用介绍 暨解决Camera.PreviewCallback和MediaRecorder无法同时进行
Android Camera2 ImageReader 图像格式 YUV
使用 Camera2(Android 版本 21)API 录制 60fps 视频