使用网络摄像头、OpenCV 和 Python 跟踪瞳孔位置

Posted 2023-03-16

【中文标题】使用网络摄像头、OpenCV 和 Python 跟踪瞳孔位置

【英文标题】：Track Eye Pupil Position with Webcam, OpenCV, and Python

【发布时间】：2018-01-29 01:58:28

【问题描述】：

我正在尝试构建一个可以通过基本眼球运动进行控制的机器人。我将网络摄像头对准我的脸，根据我瞳孔的位置，机器人会以某种方式移动。如果瞳孔在上、下、左、右眼角，机器人将分别向前、向后、向左、向右移动。

我最初的计划是使用 eye haar cascade 来找到我的左眼。然后我会在眼睛区域使用 houghcircle 来找到瞳孔的中心。我会通过找出从霍夫圆中心到一般眼睛区域边界的距离来确定瞳孔在眼睛中的位置。

因此，对于我的代码的第一部分，我希望能够跟踪眼瞳的中心，如本视频所示。 https://youtu.be/aGmGyFLQAFM?t=38

但是当我运行我的代码时，它不能始终如一地找到瞳孔的中心。霍夫圆经常画在错误的区域。如何让我的程序始终如一地找到瞳孔的中心，即使在眼睛移动时也是如此？

我是否有可能/更好/更容易告诉我的程序一开始学生在哪里？ 我看过其他一些眼动追踪方法，但我无法形成通用算法。如果有人可以帮助形成一个，那将不胜感激！ https://arxiv.org/ftp/arxiv/papers/1202/1202.6517.pdf

import numpy as np
import cv2

face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
eye_cascade = cv2.CascadeClassifier('haarcascade_righteye_2splits.xml')

#number signifies camera
cap = cv2.VideoCapture(0)

while 1:
    ret, img = cap.read()
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    #faces = face_cascade.detectMultiScale(gray, 1.3, 5)
    eyes = eye_cascade.detectMultiScale(gray)
    for (ex,ey,ew,eh) in eyes:
        cv2.rectangle(img,(ex,ey),(ex+ew,ey+eh),(0,255,0),2)
        roi_gray2 = gray[ey:ey+eh, ex:ex+ew]
        roi_color2 = img[ey:ey+eh, ex:ex+ew]
        circles = cv2.HoughCircles(roi_gray2,cv2.HOUGH_GRADIENT,1,20,param1=50,param2=30,minRadius=0,maxRadius=0)
        try:
            for i in circles[0,:]:
                # draw the outer circle
                cv2.circle(roi_color2,(i[0],i[1]),i[2],(255,255,255),2)
                print("drawing circle")
                # draw the center of the circle
                cv2.circle(roi_color2,(i[0],i[1]),2,(255,255,255),3)
        except Exception as e:
            print e
    cv2.imshow('img',img)
    k = cv2.waitKey(30) & 0xff
    if k == 27:
        break

cap.release()
cv2.destroyAllWindows()

【参考方案1】：

从我之前做过的一些工作中，我可以看到两种选择：

训练一个 Haar 检测器来检测眼球，使用以瞳孔中心为中心、眼球宽度为宽度的训练图像。我发现这比使用霍夫圆或仅使用 OpenCV 的原始眼睛检测器（您的代码中使用的那个）更好。

使用 Dlib 的面部标志点来估计眼睛区域。然后使用由眼球的白色和黑暗区域引起的对比度以及轮廓来估计瞳孔的中心。这产生了更好的结果。

【参考方案2】：

只需将您创建 HoughCircles 的行替换为：

circles = cv2.HoughCircles(roi_gray2,cv2.HOUGH_GRADIENT,1,200,param1=200,param2=1,minRadius=0,maxRadius=0)

我只是更改了几个参数，它使我更加准确。

关于参数here的详细信息。