如何使用凸包多边形裁剪面部区域

Posted 2023-03-16

【中文标题】如何使用凸包多边形裁剪面部区域

【英文标题】：How to crop face regions using convexhull polygons

【发布时间】：2021-05-21 16:24:05

【问题描述】：

我正在使用 dlib 库中的地标点根据以下问题从我的脸上选择前额、鼻子和眼睛区域：Is there a way to get the area of the forehead (bounding box) by using opencv/dlib and for a live stream video。它就像一个魅力，我有我想要的点，我想做的是裁剪使用凸包多边形设置地标的图像。

我想做的是从这个开始：

到这里：

然后保存

有什么办法吗？即使它看起来不漂亮。这是我当前的面部跟踪代码：

import cv2
import dlib
from imutils import face_utils
import imutils
import numpy as np

cap = cv2.VideoCapture(0)


detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor("shape_predictor_81_face_landmarks.dat")

def face_remap(shape):
    remapped_image = cv2.convexHull(shape)
    return remapped_image


while True:
    _, frame = cap.read()
    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    out_face = np.zeros_like(frame)
    faces = detector(gray, 1) 

    for face in faces:
        x1 = face.left()
        y1 = face.top()
        x2 = face.right()
        y2 = face.bottom()
        aam = [17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 77, 75, 75, 55, 69, 70, 71, 80, 72, 73, 79, 74, 78]

        landmarks = predictor(gray, face)
        shape = face_utils.shape_to_np(landmarks)
        remapped_shape = np.zeros_like(shape) 
        feature_mask = np.zeros((frame.shape[0], frame.shape[1]))   
        
        x_pts = []
        y_pts = []
        for n in (aam):
            x = landmarks.part(n).x
            y = landmarks.part(n).y

            x_pts.append(x)
            y_pts.append(y)

            cv2.circle(frame, (x, y), 1, (255, 0, 0), -1)
        x1 = min(x_pts)
        x2 = max(x_pts)
        y1 = min(y_pts)
        y2 = max(y_pts)

        cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), 3)

    cv2.imshow("out", frame)
    k = cv2.waitKey(1)
    if k == 27:
        remapped_shape = face_remap(shape)
        cv2.fillConvexPoly(feature_mask, remapped_shape[0:27], 1)
        feature_mask = feature_mask.astype(np.bool)
        out_face[feature_mask] = frame[feature_mask]
        cv2.imwrite("out_face.png", out_face)
        break
        

    
cap.release()
cv2.destroyAllWindows()

此代码将从背景中裁剪人脸图像并设置地标，如示例所示。但是我想在地标周围裁剪

【问题讨论】：

你展示的作物根本不是凸的。你能更具体地说明你想要什么吗？

不一定需要使用凸包，优先获得与示例中描述的相似的裁剪图像，我以凸包为例，我有点困惑适用于特定的图像形状

【参考方案1】：

正如@Shai 在 cmets 中提到的，你的形状根本不是凸的。

要从 convexhull 多边形中裁剪图像，您可以先从凸包中取出 mask，然后使用 mask 对原始图像进行按位运算。

也许这样的功能会有所帮助。

def mask_from_contours(ref_img, contours):
    mask = numpy.zeros(ref_img.shape, numpy.uint8)
    mask = cv2.drawContours(mask, contours, -1, (255,255,255), -1)
    return cv2.cvtColor(mask, cv2.COLOR_BGR2GRAY)

如果您只想从多边形中裁剪图像，您可以通过编程方式连接地标，通过地标索引进行硬编码，并从多边形中获取遮罩，然后应用位与运算。

这是填充多边形的代码示例。

import numpy as np
import cv2
import matplotlib.pyplot as plt

a3 = np.array( [[[10,10],[100,10],[100,100],[10,100]]], dtype=np.int32 )
im = np.zeros([240,320],dtype=np.uint8)
cv2.fillPoly( im, a3, 255 )

【参考方案2】：

您只选择了 dlib 识别出的面部 81 个标志的子集，并丢弃了与嘴巴、下巴和面部外轮廓相关的标志。

你应该做一个额外的选择，只留下你感兴趣的区域边界上的点。 此外，您应该排序选定的点，以便将它们以正确的顺序连接起来，形成一个多边形，标记您要裁剪的区域。

获得多边形后，您可以使用this method 对其进行裁剪：

使用cv2.fillPoly() 从多边形绘制蒙版。 使用cv2.bitwsie_and() 仅从图像中获取蒙版的裁剪多边形部分。 使用cv2.boundingRect()获取裁剪区域的边界矩形。