OpenCV+dlib实现疲劳检测

Posted Frommoon

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了OpenCV+dlib实现疲劳检测相关的知识,希望对你有一定的参考价值。

本文基于OpenCV并利用dlib工具包,通过实时计算EAR值来统计眨眼次数实现了疲劳检测。

步骤:

  • 首先对对检测到的人脸进行关键点定位并锁定眼睛部分的关键点,然后,对视频的每一帧图像用实时计算的EAR值来统计眨眼次数。

(1)锁定眼睛部分关键点

detector = dlib.get_frontal_face_detector()#dlib正面人脸检测
predictor = dlib.shape_predictor(args["shape_predictor"])#关键点定位,传入68关键点模型
# 分别取两个眼睛区域
(lStart, lEnd) = FACIAL_LANDMARKS_68_IDXS["left_eye"]#返回左眼开始索引,结束索引
(rStart, rEnd) = FACIAL_LANDMARKS_68_IDXS["right_eye"]

FACIAL_LANDMARKS_68_IDXS = OrderedDict([
	("mouth", (48, 68)),
	("right_eyebrow", (17, 22)),
	("left_eyebrow", (22, 27)),
	("right_eye", (36, 42)),
	("left_eye", (42, 48)),
	("nose", (27, 36)),
	("jaw", (0, 17))
])

(2)EAR

根据上图可知,眼睛睁和闭,关键点的位置会发生变化,这里定义一个EAR=(|p2-p6|+|p3-p5|)/2*|p1-p4|,由此判断眼睛睁和闭

#根据眼睛部分的关键点,计算ear值判断眼睛睁闭
def eye_aspect_ratio(eye):
	# 计算距离,竖直的
	A = dist.euclidean(eye[1], eye[5])#相当于图中的|p2-p6|,scipy工具包中的euclidean欧式距离
	B = dist.euclidean(eye[2], eye[4])#相当于图中的|p3-p5|
	# 计算距离,水平的
	C = dist.euclidean(eye[0], eye[3])#相当于图中的|p1-p4|
	# ear值
	ear = (A + B) / (2.0 * C)
	return ear

(2)设置参数

# 设置判断参数
EYE_AR_THRESH = 0.3#阈值,闭眼时EAR值较小,眨眼是一个过程,涉及多帧图像,出现有一个过程小于阈值的EAR情况就统计为眨眼
EYE_AR_CONSEC_FRAMES = 3#EAR小于0.3持续了3帧判断为一次眨眼

# 初始化计数器
COUNTER = 0#小于0.3,COUNTER++
TOTAL = 0#当COUNTER为3时,表示连续3帧阈值小于0.3,则统计为一次眨眼TOTAL++

(3)对视频的每一帧进行判断

# 读取视频
print("[INFO] starting video stream thread...")
vs = cv2.VideoCapture(args["video"])
#vs = FileVideoStream(args["video"]).start()
time.sleep(1.0)
# 遍历每一帧
while True:
	# 预处理
	frame = vs.read()[1]
	if frame is None:
		break
	
	(h, w) = frame.shape[:2]
	width=1200#根据不同场景设置,保证人脸够大能被检测到
	r = width / float(w)
	dim = (width, int(h * r))
	frame = cv2.resize(frame, dim, interpolation=cv2.INTER_AREA)
	gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

	# 检测人脸
	rects = detector(gray, 0)

	# 遍历每一个检测到的人脸
	for rect in rects:
		# 获取坐标
		shape = predictor(gray, rect)
		shape = shape_to_np(shape)#shape_to_np把关键点转换成坐标值

		# 分别计算左眼和右眼的ear值
		leftEye = shape[lStart:lEnd]
		rightEye = shape[rStart:rEnd]
		leftEAR = eye_aspect_ratio(leftEye)
		rightEAR = eye_aspect_ratio(rightEye)

		# 算一个平均的,(左眼加右眼)/2
		ear = (leftEAR + rightEAR) / 2.0

		# 绘制眼睛区域
		leftEyeHull = cv2.convexHull(leftEye)
		rightEyeHull = cv2.convexHull(rightEye)
		cv2.drawContours(frame, [leftEyeHull], -1, (0, 255, 0), 1)
		cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)

		# 检查是否满足阈值
		if ear < EYE_AR_THRESH:
			COUNTER += 1

		else:
			# 如果连续几帧都是闭眼的,总数算一次
			if COUNTER >= EYE_AR_CONSEC_FRAMES:
				TOTAL += 1

			# 重置,等待下一次眨眼
			COUNTER = 0

		# 显示
		cv2.putText(frame, "Blinks: ".format(TOTAL), (10, 30),
			cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)
		cv2.putText(frame, "EAR: :.2f".format(ear), (300, 30),
			cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 2)

	cv2.imshow("Frame", frame)
	key = cv2.waitKey(10) & 0xFF
 
	if key == 27:
		break

vs.release()
cv2.destroyAllWindows()

CNN+OpenCV+dlib实现图片人脸检测

点击查看:CNN+OpenCV+dlib实现图片人脸检测

文件大小:2.2M

操作系统:Windows10旗舰版

开发工具:Python3.8、OpenCV4.5

开发语言:.py

简要概述:

CNN + dlib + face detector

CNN模型的人脸检测准确率比基于HOG的方法好,但是对计算能力要求大

预训练模型: mmod_human_face_detector.dat

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

以上是关于OpenCV+dlib实现疲劳检测的主要内容,如果未能解决你的问题,请参考以下文章

Python+OpenCV+dlib汽车驾驶员疲劳驾驶检测

毕业设计深度学习疲劳检测 驾驶行为检测 - python opencv cnn

dlib库包的介绍与使用,opencv+dlib检测人脸框opencv+dlib进行人脸68关键点检测,opencv+dlib实现人脸识别,dlib进行人脸特征聚类dlib视频目标跟踪

终于安装成功dlib了,疲劳检测终于可以开工了

树莓派上利用python+opencv+dlib实现嘴唇检测

CNN+OpenCV+dlib实现图片人脸检测