TextureView 的裁剪相机预览

Posted 2023-04-17

【中文标题】TextureView 的裁剪相机预览

【英文标题】：Crop camera preview for TextureView

【发布时间】：2013-06-05 20:31:47

【问题描述】：

我有一个具有固定宽度和高度的 TextureView，我想在其中显示一个相机预览。我需要裁剪相机预览，使其在我的 TextureView 中看起来不会被拉伸。如何进行种植？如果我需要使用 OpenGL，如何将 Surface Texture 绑定到 OpenGL 以及如何使用 OpenGL 进行裁剪？

public class MyActivity extends Activity implements TextureView.SurfaceTextureListener 


   private Camera mCamera;
   private TextureView mTextureView;

  @Override
  protected void onCreate(Bundle savedInstanceState) 
    super.onCreate(savedInstanceState);
    setContentView(R.layout.activity_options);

    mTextureView = (TextureView) findViewById(R.id.camera_preview);
    mTextureView.setSurfaceTextureListener(this);


@Override
public void onSurfaceTextureAvailable(SurfaceTexture surface, int width, int height) 
    mCamera = Camera.open();

    try 
    
        mCamera.setPreviewTexture(surface);
        mCamera.startPreview();
     catch (IOException ioe) 
        // Something bad happened
    


@Override
public boolean onSurfaceTextureDestroyed(SurfaceTexture surface) 
    mCamera.stopPreview();
    mCamera.release();
    return true;


@Override
public void onSurfaceTextureSizeChanged(SurfaceTexture surface, int width, int height) 


@Override
public void onSurfaceTextureUpdated(SurfaceTexture surface)
 
    // Invoked every time there's a new Camera preview frame
 

另外，在正确进行预览后，我需要能够实时读取裁剪图像中心的像素。

【问题讨论】：

我不确定它是否会对您有所帮助，但您可以尝试使用较小的预览尺寸。最初，相机会为默认预览尺寸提供较大的尺寸..

我知道预览尺寸。这对我没有帮助，因为显示相机预览的视图的尺寸与可用作预览尺寸的尺寸不同。

您可以在屏幕上尝试使用片段。

好的，为了获得最佳预览尺寸，我同意@Amrendra，通过做一些数学运算来获得最接近视图尺寸的预览尺寸。我认为这是您可以实现的最接近的事情

有些设备只有很少的预览尺寸可供选择，而且没有一个非常接近我需要的尺寸。所以这不是一个选择。

【参考方案1】：

@Romanski 提供的早期解决方案效果很好，但它会随着裁剪而缩放。如果您需要缩放以适应，请使用以下解决方案。每次更改表面视图时调用 updateTextureMatrix：即在 onSurfaceTextureAvailable 和 onSurfaceTextureSizeChanged 方法中。另请注意，此解决方案依赖于活动忽略配置更改（即 android:configChanges="orientation|screenSize|keyboardHidden" 或类似的东西）：

private void updateTextureMatrix(int width, int height)

    boolean isPortrait = false;

    Display display = getWindowManager().getDefaultDisplay();
    if (display.getRotation() == Surface.ROTATION_0 || display.getRotation() == Surface.ROTATION_180) isPortrait = true;
    else if (display.getRotation() == Surface.ROTATION_90 || display.getRotation() == Surface.ROTATION_270) isPortrait = false;

    int previewWidth = orgPreviewWidth;
    int previewHeight = orgPreviewHeight;

    if (isPortrait)
    
        previewWidth = orgPreviewHeight;
        previewHeight = orgPreviewWidth;
    

    float ratiosurface = (float) width / height;
    float ratioPreview = (float) previewWidth / previewHeight;

    float scaleX;
    float scaleY;

    if (ratioSurface > ratioPreview)
    
        scaleX = (float) height / previewHeight;
        scaleY = 1;
    
    else
    
        scaleX = 1;
        scaleY = (float) width / previewWidth;
    

    Matrix matrix = new Matrix();

    matrix.setScale(scaleX, scaleY);
    textureView.setTransform(matrix);

    float scaledWidth = width * scaleX;
    float scaledHeight = height * scaleY;

    float dx = (width - scaledWidth) / 2;
    float dy = (height - scaledHeight) / 2;
    textureView.setTranslationX(dx);
    textureView.setTranslationY(dy);

您还需要以下字段：

private int orgPreviewWidth;
private int orgPreviewHeight;

在调用updateTextureMatrix之前在onSurfaceTextureAvailable方法中初始化它：

Camera.Parameters parameters = camera.getParameters();
parameters.setFocusMode(Camera.Parameters.FOCUS_MODE_CONTINUOUS_VIDEO);

Pair<Integer, Integer> size = getMaxSize(parameters.getSupportedPreviewSizes());
parameters.setPreviewSize(size.first, size.second);

orgPreviewWidth = size.first;
orgPreviewHeight = size.second;

camera.setParameters(parameters);

getMaxSize 方法：

private static Pair<Integer, Integer> getMaxSize(List<Camera.Size> list)

    int width = 0;
    int height = 0;

    for (Camera.Size size : list) 
        if (size.width * size.height > width * height)
        
            width = size.width;
            height = size.height;
        
    

    return new Pair<Integer, Integer>(width, height);

最后一件事 - 您需要更正相机旋转。所以在 Activity 的 onConfigurationChanged 方法中调用 setCameraDisplayOrientation 方法（并在 onSurfaceTextureAvailable 方法中进行初始调用）：

public static void setCameraDisplayOrientation(Activity activity, int cameraId, Camera camera)

    Camera.CameraInfo info = new Camera.CameraInfo();
    Camera.getCameraInfo(cameraId, info);
    int rotation = activity.getWindowManager().getDefaultDisplay().getRotation();
    int degrees = 0;
    switch (rotation)
    
        case Surface.ROTATION_0:
            degrees = 0;
            break;
        case Surface.ROTATION_90:
            degrees = 90;
            break;
        case Surface.ROTATION_180:
            degrees = 180;
            break;
        case Surface.ROTATION_270:
            degrees = 270;
            break;
    

    int result;
    if (info.facing == Camera.CameraInfo.CAMERA_FACING_FRONT)
    
        result = (info.orientation + degrees) % 360;
        result = (360 - result) % 360;  // compensate the mirror
    
    else
      // back-facing
        result = (info.orientation - degrees + 360) % 360;
    
    camera.setDisplayOrientation(result);

    Camera.Parameters params = camera.getParameters();
    params.setRotation(result);
    camera.setParameters(params);

【讨论】：

给这个人一个UPVOTE！非常感谢这个鲁斯兰。我已经尝试用表面视图、表面纹理和一百万个其他东西来解决这个问题大约一个星期了。我知道应该有某种视图可以设置缩放矩阵，但我就是找不到。太棒了。我认为应该从有关相机预览裁剪的许多其他问题中找到该答案的链接。

编辑：这段代码中有一个轻微的逻辑问题，romanski 似乎已经解决了，一旦我找出问题所在，我会尝试更新这个答案

有关直接使用 SurfaceTexture 和 GLES 执行此操作的示例，请参阅 Grafika (github.com/google/grafika) 中的“来自相机的纹理”活动。 “缩放”动作通过操纵纹理坐标进行中心裁剪和缩放。 TextureView 正在做类似的事情。 TextureView 的优势在于它更易于使用。 “原始 GLES”方法要复杂得多，但要灵活得多。

嗨，感谢您的有用帖子。这帮助我解决了另一个问题：移动相机时，视图不流畅。似乎是糟糕的转变或类似的事情。你能帮我吗 ？对这种行为有什么想法吗？

我有点难以理解这一点。我收到错误setParameters failed。我已按照本指南进行操作，但我认为 and also make initial call in onSurfaceTextureAvailable method 让我有些困惑。这应该是之前我设置Camera camera = Camera.open(); 吗？

【参考方案2】：

只需计算纵横比，生成缩放矩阵并将其应用于 TextureView。根据表面的纵横比和预览图像的纵横比，对预览图像进行上下或左右裁剪。 我发现的另一个解决方案是，如果您在 SurfaceTexture 可用之前打开相机，则预览已经自动缩放。只需尝试移动 mCamera = Camera.open();设置 SurfaceTextureListener 后添加到 onCreate 函数。这在 N4 上对我有用。使用此解决方案，当您从纵向旋转到横向时，您可能会遇到问题。如果您需要纵向和横向支持，请使用比例矩阵的解决方案！

private void initPreview(SurfaceTexture surface, int width, int height) 
    try 
        camera.setPreviewTexture(surface);
     catch (Throwable t) 
        Log.e("CameraManager", "Exception in setPreviewTexture()", t);
    

    Camera.Parameters parameters = camera.getParameters();
    previewSize = parameters.getSupportedPreviewSizes().get(0);

    float ratioSurface = width > height ? (float) width / height : (float) height / width;
    float ratioPreview = (float) previewSize.width / previewSize.height;

    int scaledHeight = 0;
    int scaledWidth = 0;
    float scaleX = 1f;
    float scaleY = 1f;

    boolean isPortrait = false;

    if (previewSize != null) 
        parameters.setPreviewSize(previewSize.width, previewSize.height);
        if (display.getRotation() == Surface.ROTATION_0 || display.getRotation() == Surface.ROTATION_180) 
            camera.setDisplayOrientation(display.getRotation() == Surface.ROTATION_0 ? 90 : 270);
            isPortrait = true;
         else if (display.getRotation() == Surface.ROTATION_90 || display.getRotation() == Surface.ROTATION_270) 
            camera.setDisplayOrientation(display.getRotation() == Surface.ROTATION_90 ? 0 : 180);
            isPortrait = false;
        
        if (isPortrait && ratioPreview > ratioSurface) 
            scaledWidth = width;
            scaledHeight = (int) (((float) previewSize.width / previewSize.height) * width);
            scaleX = 1f;
            scaleY = (float) scaledHeight / height;
         else if (isPortrait && ratioPreview < ratioSurface) 
            scaledWidth = (int) (height / ((float) previewSize.width / previewSize.height));
            scaledHeight = height;
            scaleX = (float) scaledWidth / width;
            scaleY = 1f;
         else if (!isPortrait && ratioPreview < ratioSurface) 
            scaledWidth = width;
            scaledHeight = (int) (width / ((float) previewSize.width / previewSize.height));
            scaleX = 1f;
            scaleY = (float) scaledHeight / height;
         else if (!isPortrait && ratioPreview > ratioSurface) 
            scaledWidth = (int) (((float) previewSize.width / previewSize.height) * width);
            scaledHeight = height;
            scaleX = (float) scaledWidth / width;
            scaleY = 1f;
                   
        camera.setParameters(parameters);
    

    // calculate transformation matrix
    Matrix matrix = new Matrix();

    matrix.setScale(scaleX, scaleY);
    textureView.setTransform(matrix);

【讨论】：

我无法裁剪预览。你确定可以在 TextureView 中裁剪预览吗？

这样对我有用。基本上它不是裁剪而是缩放。相机预览总是安装在 TextureView 内——即使 TextureView 的比例和相机预览的比例不一样。使用变换矩阵，您可以设置缩放以补偿失真。

我知道我来晚了，但是您如何使旋转适应 Camera2 API？没有“setDisplayOrientation”。我正在使用 matrix.setRotate/postRotate/preRotate 进行测试，但我从来没有得到想要的输出。

在 Camera2 上，我使用另一种方法 - 使用 setRectToRect（图像大小和表面大小）计算矩阵，然后根据当前显示位置在矩阵上使用 postScale/postRotate。抱歉，我无法提供任何代码

【参考方案3】：

您可以从onPreview() 操作byte[] data。

我认为你必须：

将其放入位图中 在Bitmap 中进行裁剪 做一点拉伸/调整大小 并将Bitmap 传递给您的SurfaceView

这不是一种非常高效的方式。也许你可以直接操作byte[]，但你将不得不处理像NV21这样的图片格式。

【参考方案4】：

我刚刚制作了一个工作应用程序，我需要在其中显示实际输入的 x2 的预览，而不会出现像素化的外观。 IE。我需要在 640x360 TextureView 中显示 1280x720 实时预览的中心部分。

这就是我所做的。

将相机预览设置为我需要的 x2 分辨率：

params.setPreviewSize(1280, 720);

然后相应地缩放纹理视图：

this.captureView.setScaleX(2f);
this.captureView.setScaleY(2f);

这在小型设备上运行没有任何问题。

【讨论】：

非常感谢。你救了我。

【参考方案5】：

@SatteliteSD 给出的答案是最合适的。每个相机仅支持在 HAL 中设置的某些预览尺寸。因此，如果可用的预览大小不能满足要求，那么您需要从 onPreview 中提取数据

【参考方案6】：

对于摄像头预览图像的实时操作，OpenCV for android 完美适配。您会在此处找到所需的每个示例：http://opencv.org/platforms/android/opencv4android-samples.html，并且您会看到它在实时中运行得非常好。

免责声明：根据您使用 c++/opencv/ndk 进行实验的方式，在 android 上设置 opencv 库可能会非常令人头疼。 在所有情况下，编写 opencv 代码绝非易事，但另一方面，它是一个非常强大的库。

【讨论】：

我自己一直在看 JavaCameraView，它似乎在 CPU 而不是 gpu 上的本机代码中进行 yuv->rgb 转换......我认为这会导致真正的传递到屏幕的相机帧速度减慢（延迟和帧率不佳）