在线会议中人脸面部轮廓图像提取——Dlib库人脸面部轮廓图像特征提取

Posted 2022-07-27 [山青花欲燃]

前言：所使用图片并无盈利等目的，如有侵犯他人肖像权请联系删除。

当当当当，第三期来廖！接上一期在线会议中人脸面部轮廓图像提取（二）——HOG人脸面部轮廓图像特征提取，介绍完HOG特征提取我们继续学习Dlib库提取特征叭！

1、人脸轮廓图像提取原理

在我们检测到人脸区域之后，接下来要研究的问题是获取到不同的脸部的特征，以区分不同人脸，即人脸特征检测(facial feature detection)。它也被称为人脸特征点检测(facial landmark detection)。
人脸特征点通常会标识出脸部的下列数个区域：

• 右眼眉毛(Right eyebrow)
• 左眼眉毛(Left eyebrow)
• 右眼(Right eye)
• 左眼(Left eye)
• 嘴巴(Mouth)
• 鼻子(Nose)
• 下巴(Jaw)

检测人脸特征点，分为如下两步：

1. 第一步：定位图像中人脸区域；
2. 这一步我们可以使用之前学到过的 OpenCV中Harr检测器 或者 Dlib中HOG加SVM的检测器。

第一步：在人脸区域内检测出人脸关键特征；
对于第二步，我们使用Dlib中的特征点检测。
Dlib中使用的人脸特征检测的原理来自2014年，由Vahid Kazemi和 Josephine Sullivan在论文 《One Millisecond Face Alignment with an Ensemble of Regression Trees》中提出的人脸特征点评估的方法。
论文中方法的主要思想是：

使用级联回归树（ensemble of regression trees,
ERT），即使用级联回归因子，基于梯度提高学习的回归树方法。该方法首先需要使用一系列标定好的人脸图片作为训练集，然后会生成一个模型。使机器学习模型能够找出任何脸上的这些特征点。

简要的分为以下三步：

1. 定义一张脸上的68个具体的特征点(landmarks)；
2. 标记面部特征点，获得带标记的训练数据。需要手动标记图像上的面部特征点，标签指定围绕每个面部结构的区域；
3. 给定训练数据，训练回归树的集合，直接从像素强度本身估计面部界标位置，得到模型。

2、模型算法实现

Dlib提供两种人脸检测模型：

• shape_predictor_5_face_landmarks.dat：
  检测5个人脸特征关键点，即双眼的眼头及眼尾以及鼻头这五个位置。因为只检测五个点，所以执行速度很快。如图：
  
  5点人脸特征图
• shape_predictor_68_face_landmarks.dat：
  检测68个人脸特征关键点。如图：
  

68点人脸特征图

3、具体实践步骤

1. 利用Dlib的正向人脸检测器 get_frontal_face_detector()，进行人脸检测，提取人脸外部矩形框:

detector = dlib.get_frontal_face_detector()  
faces = detector(image, 1)  

返回的faces为识别出的脸部数组。

2. 利用训练好的人脸68点特征检测器，进行人脸面部轮廓特征提取：

predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")  
shape = predictor(image, face)  

3. 源码示例与解析：

import cv2
import dlib
# 读取图片
img_path = "C.jpg"
img = cv2.imread(img_path)
n = 2
img = cv2.resize(img, (0, 0), fx=1/n, fy=1/n, interpolation=cv2.INTER_NEAREST)
# 转换为灰阶图片
gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
# 正向人脸检测器将图像
detector = dlib.get_frontal_face_detector()
# 使用训练好的68个特征点模型
predictor_path = "shape_predictor_68_face_landmarks.dat"
predictor = dlib.shape_predictor(predictor_path)
# 使用检测器来检测图像中的人脸
faces = detector(gray, 1)
# 打印结果
print("人脸数: ", len(faces))
for i, face in enumerate(faces):
	print("第", i+1, "个人脸的矩形框坐标：\\n","left:", face.left(), "right:", face.right(), "top:", face.top(), "bottom:", face.bottom())
	# 获取人脸特征点
	shape = predictor(img, face)
	print("第", i+1, '个人脸特征点:')
	print(shape.parts())

结果：

人脸数:  1  
第 1 个人脸的矩形框坐标：  
left: 82 right: 349 top: 142 bottom: 409  
第 1 个人脸特征点:  
points[(94, 238), (98, 271), (105, 303), (113, 334), (125, 362), (144, 385), (168, 405), (195, 420), (225, 426), (256, 421), (284, 406), (308, 386), (328, 362), (340, 333), (348, 302), (354, 271), (360, 238), (115, 206), (130, 184), (154, 172), (182, 170), (208, 174), (251, 174), (277, 169), (304, 171), (327, 182), (341, 203), (229, 207), (229, 220), (229, 234), (228, 248), (204, 275), (216, 277), (228, 279), (240, 278), (251, 276), (147, 221), (162, 212), (179, 210), (194, 218), (179, 222), (162, 224), (263, 218), (278, 209), (295, 211), (308, 220), (295, 223), (278, 222), (187, 332), (202, 315), (219, 306), (228, 309), (238, 307), (255, 319), (271, 335), (255, 350), (239, 356), (227, 357), (217, 355), (202, 348), (197, 332), (218, 321), (228, 321), (238, 321), (262, 334), (238, 338), (228, 339), (218, 337)]  

4. Dlib 绘制人脸轮廓图
   在识别出人脸特征点之后，绘制对应的特征点能可视化特征效果。Dlib本身提供了绘制特征点的方法，主要分为以下几步：
   （1）使用image_window()新建图像窗口：

   win = dlib.image_window()  
   

   （2）指定窗口图片：

   win.clear_overlay()  
   win.set_image(img)
   

   （3）绘制面部轮廓：

   # 使用predictor来计算面部轮廓  
   shape = predictor(img, faces[i])  
   # 绘制面部轮廓  
   win.add_overlay(shape)
   # 绘制面部轮廓  
   win.add_overlay(shape)
   

   (4) 绘制人脸区域矩阵:

   # 绘制矩阵轮廓  
   win.add_overlay(faces)  
   

   经过以上这些步骤后，可成功计算出人脸面部特征并画出轮廓图。
   运行结果：

人脸数： 1
第 1 个人脸的矩形框坐标： left: 97 right: 283 top: 118 bottom: 304
Hit enter to continue

可能是因为肤色和清晰度问题、面部姿势会稍微有点小误差：

人脸数： 5
第 1 个人脸的矩形框坐标： left: 833 right: 895 top: 135 bottom: 198
第 2 个人脸的矩形框坐标： left: 135 right: 197 top: 149 bottom: 211
第 3 个人脸的矩形框坐标： left: 487 right: 550 top: 73 bottom: 135
第 4 个人脸的矩形框坐标： left: 229 right: 303 top: 96 bottom: 171
第 5 个人脸的矩形框坐标： left: 626 right: 688 top: 87 bottom: 149
Hit enter to continue

人脸数： 1
第 1 个人脸的矩形框坐标： left: 262 right: 448 top: 98 bottom: 284
Hit enter to continue

源码与解析：

import dlib
import cv2
# 使用 Dlib 的正面人脸检测器 frontal_face_detector
detector = dlib.get_frontal_face_detector()
# Dlib 的 68点模型
predictor = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
# 读取图片
img = cv2.imread("R.jpg")
n = 1#缩放
img = cv2.resize(img, (0, 0), fx=1/n, fy=1/n, interpolation=cv2.INTER_NEAREST)
# 生成 Dlib 的图像窗口
win = dlib.image_window()
win.set_image(img)
# 使用 detector 检测器来检测图像中的人脸
faces = detector(img, 1)
print("人脸数：", len(faces))
for i, d in enumerate(faces):
    print("第", i+1, "个人脸的矩形框坐标：",
          "left:", d.left(), "right:", d.right(), "top:", d.top(), "bottom:", d.bottom())
    # 使用predictor来计算面部轮廓
    shape = predictor(img, faces[i])
    # 绘制面部轮廓
    win.add_overlay(shape)
# 绘制矩阵轮廓
win.add_overlay(faces)
dlib.hit_enter_to_continue()

一些学习到的有趣的转化：

• RGB转HSV：

源码与解释：

#encoding:utf-8

import numpy as np
import cv2

image = cv2.imread("R.jpg")
n = 1
image = cv2.resize(image, (0, 0), fx=1/n, fy=1/n, interpolation=cv2.INTER_NEAREST)
cv2.imshow("Original",image)
# cv2.waitKey(0)

#HSV空间
hsv = cv2.cvtColor(image,cv2.COLOR_BGR2HSV)
cv2.imshow("HSV",hsv)
cv2.waitKey(0)

• RGB转LAB：
  
  
  源码与解释：

#encoding:utf-8

import numpy as np
import cv2

image = cv2.imread("R.jpg")
n = 1
image = cv2.resize(image, (0, 0), fx=1/n, fy=1/n, interpolation=cv2.INTER_NEAREST)
cv2.imshow("Original",image)
# cv2.waitKey(0)

#lab空间
lab = cv2.cvtColor(image, cv2.COLOR_BGR2LAB)
cv2.imshow("L*A*B*", lab)
cv2.waitKey(0)

4、最后

以上有一些知识还是挺有趣的，大家有兴趣的话可以去搜索学习一下奥。所使用的素材与源码等之后会同一整理打包上传。
创作不易，感谢您的三连嘻嘻，下期更加精彩，敬请期待窝！