OpenCV实现答题卡识别

Posted 2023-04-29 Frommoon

目录

• 1.定位并规整答题卡
  • (1)图像预处理
  • (2)轮廓检测(答题卡)
  • (3)透视变换
• 2.答题卡结果检测
  • (1)自适应二值化处理
  • (2)轮廓检测(选项)
  • (3)绘制掩模
  • (4)结果

本文基于OpenCV实现了捕获答题卡中的每个填涂选项，并将获取的填涂选项与正确选项做对比计算其答题正确率。所涉及的图像操作有：灰度转换、高斯去噪、边缘检测、轮廓检测、透视变换、掩模操作。

步骤：

• 首先需要对输入的原始图像进行灰度转换、高斯去噪；然后进行轮廓检测，通过遍历拿到最大的轮廓也就是答题卡的部分，接着执行透视变换使图像只保留答题卡且规整，然后对透视变换后的图像再执行轮廓检测，检测每一个选项，最后，使用mask掩模来判断结果。

1.定位并规整答题卡

(1)图像预处理

读入的原始图像如下：

预处理原始图像，左图为经过高斯去噪后的结果，右图为Canny边缘检测的结果。（下一步的轮廓检测要求传入的图像是边缘检测后的结果）

image = cv2.imread(args["image"])
contours_img = image.copy()
gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)#转化为灰度图
blurred = cv2.GaussianBlur(gray, (5, 5), 0)#高斯滤波操作
cv_show(\'blurred\',blurred)
edged = cv2.Canny(blurred, 75, 200)#边缘检测
cv_show(\'edged\',edged)

(2)轮廓检测(答题卡)

 # 轮廓检测
cnts = cv2.findContours(edged.copy(), cv2.RETR_EXTERNAL,
	cv2.CHAIN_APPROX_SIMPLE)[0]
cv2.drawContours(contours_img,cnts,-1,(0,0,255),3) 
cv_show(\'contours_img\',contours_img)
docCnt = None

# 确保检测到了
if len(cnts) > 0:
	# 根据轮廓大小进行排序，最大的轮廓为答题卡的轮廓
	cnts = sorted(cnts, key=cv2.contourArea, reverse=True)

	# 遍历每一个轮廓
	for c in cnts:
		# 近似
		peri = cv2.arcLength(c, True)#轮廓长度
		approx = cv2.approxPolyDP(c, 0.02 * peri, True)# C表示输入的点集、epsilon表示从原始轮廓到近似轮廓的最大距离，它是一个准确度参数、True表示封闭的。
		# 4个点的时候就拿出来，矩形
		if len(approx) == 4:
			docCnt = approx
			break

(3)透视变换

• 用一个图片看一下透视变换做的事情

def order_points(pts):
	# 一共4个坐标点
	rect = np.zeros((4, 2), dtype = "float32")

	# 按顺序找到对应坐标0123分别是 左上，右上，右下，左下
	# 计算左上，右下
	s = pts.sum(axis = 1)
	rect[0] = pts[np.argmin(s)]
	rect[2] = pts[np.argmax(s)]

	# 计算右上和左下
	diff = np.diff(pts, axis = 1)
	rect[1] = pts[np.argmin(diff)]
	rect[3] = pts[np.argmax(diff)]

	return rect

def four_point_transform(image, pts):
	# 获取输入坐标点
	rect = order_points(pts)
	(tl, tr, br, bl) = rect #tl指toplift左上, tr指右上, br指右下, bl指左下

	# 计算输入的w和h值
	widthA = np.sqrt(((br[0] - bl[0]) ** 2) + ((br[1] - bl[1]) ** 2))
	widthB = np.sqrt(((tr[0] - tl[0]) ** 2) + ((tr[1] - tl[1]) ** 2))
	maxWidth = max(int(widthA), int(widthB))

	heightA = np.sqrt(((tr[0] - br[0]) ** 2) + ((tr[1] - br[1]) ** 2))
	heightB = np.sqrt(((tl[0] - bl[0]) ** 2) + ((tl[1] - bl[1]) ** 2))
	maxHeight = max(int(heightA), int(heightB))

	# 变换后对应坐标位置
	dst = np.array([
		[0, 0],
		[maxWidth - 1, 0],
		[maxWidth - 1, maxHeight - 1],
		[0, maxHeight - 1]], dtype = "float32")

	# 计算变换矩阵3*3（歪歪扭扭的原图通过变换矩阵（平移旋转翻转）可变工整）二维坐标点--->三维空间进行变换(z坐标取1)--->二维(工整)
	M = cv2.getPerspectiveTransform(rect, dst)#rect表示输入的4个点，dst表示输出的4个点（至少需8个方程求解变换矩阵中的8个未知数，最后一个为1，8个方程需要4组坐标求解）
	warped = cv2.warpPerspective(image, M, (maxWidth, maxHeight))

	# 返回变换后结果
	return warped
# 透视变换
warped = four_point_transform(gray, docCnt.reshape(4, 2))#gray表示原始输入图像的灰度图，docCnt表示轮廓的四个点的坐标
cv_show(\'warped\',warped)

2.答题卡结果检测

(1)自适应二值化处理

# Otsu\'s 阈值处理
thresh = cv2.threshold(warped, 0, 255,
	cv2.THRESH_BINARY_INV | cv2.THRESH_OTSU)[1] 
cv_show(\'thresh\',thresh)
thresh_Contours = thresh.copy()

(2)轮廓检测(选项)

# 找到每一个圆圈轮廓(霍夫变换也可对圆形检测，但对于答题卡圆圈涂出的检测效果不好）
cnts = cv2.findContours(thresh.copy(), cv2.RETR_EXTERNAL,
	cv2.CHAIN_APPROX_SIMPLE)[0]
cv2.drawContours(thresh_Contours,cnts,-1,(0,0,255),3) 
cv_show(\'thresh_Contours\',thresh_Contours)
questionCnts = []

(3)绘制掩模

传入的图像总共有25个选项，因此需要25个掩模，在此不挨个列举，下面左图为第一个掩模结果，右图为最后一个掩模结果。

# 遍历（筛除干扰项，只保留选项）
for c in cnts:
	# 计算比例和大小
	(x, y, w, h) = cv2.boundingRect(c)#对每个选项圆圈做外接矩形
	ar = w / float(h)

	# 根据实际情况指定标准
	if w >= 20 and h >= 20 and ar >= 0.9 and ar <= 1.1:
		questionCnts.append(c)

# 按照从上到下进行排序
questionCnts = sort_contours(questionCnts,
	method="top-to-bottom")[0]
correct = 0

# 每排有5个选项
for (q, i) in enumerate(np.arange(0, len(questionCnts), 5)):
	# 排序
	cnts = sort_contours(questionCnts[i:i + 5])[0]#保证ABCDE的顺序正确
	bubbled = None

	# 遍历每一个结果
	for (j, c) in enumerate(cnts):
		# 使用mask来判断结果
		mask = np.zeros(thresh.shape, dtype="uint8")
		cv2.drawContours(mask, [c], -1, 255, -1) #-1表示填充，[c]表示选项轮廓
		cv_show(\'mask\',mask)

(4)结果

    由于填涂后的答题卡在二值图像中>0的像素点较多，而且掩模中的圆圈部分的像素值为255，其余部分的像素值为0，将掩模与原图像进行“与”操作，得到每一个圆圈的“与”运算结果，判断该选项的圆圈是否被填涂了。

• 提前设定好正确答案

# 正确答案
ANSWER_KEY = 0: 1, 1: 4, 2: 0, 3: 3, 4: 1

# 每排有5个选项
for (q, i) in enumerate(np.arange(0, len(questionCnts), 5)):
	# 排序
	cnts = sort_contours(questionCnts[i:i + 5])[0]#保证ABCDE的顺序正确
	bubbled = None

	# 遍历每一个结果
	for (j, c) in enumerate(cnts):
		# 使用mask来判断结果
		mask = np.zeros(thresh.shape, dtype="uint8")
		cv2.drawContours(mask, [c], -1, 255, -1) #-1表示填充，[c]表示选项轮廓
		cv_show(\'mask\',mask)
		# 通过计算非零点数量来算是否选择这个答案
		mask = cv2.bitwise_and(thresh, thresh, mask=mask)#与操作，thresh二值处理后的图像
		total = cv2.countNonZero(mask)#对比不同选项圈里面的像素点，计算非零的值

		# 通过阈值判断（判断一道题中的5个圈哪个非零值最大）
		if bubbled is None or total > bubbled[0]:
			bubbled = (total, j)#j为0表示第一个答案，1234同理，bubbled保存最大值也就是填涂的选项

	# 对比正确答案
	color = (0, 0, 255)
	k = ANSWER_KEY[q] #提前设定好正确答案，q表示第几题

	# 判断正确
	if k == bubbled[1]:
		color = (0, 255, 0)
		correct += 1 #正确数量

	# 绘图
	cv2.drawContours(warped, [cnts[k]], -1, color, 3)


score = (correct / 5.0) * 100
print("[INFO] score: :.2f%".format(score))
cv2.putText(warped, ":.2f%".format(score), (10, 30),
	cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255), 2)
cv2.imshow("Original", image)
cv2.imshow("Exam", warped)
cv2.waitKey(0)

使用 OpenCV-Python 识别答题卡判卷

任务

识别用相机拍下来的答题卡，并判断最终得分（假设正确答案是B, E, A, D, B）

主要步骤

1. 轮廓识别——答题卡边缘识别
2. 透视变换——提取答题卡主体
3. 轮廓识别——识别出所有圆形选项，剔除无关轮廓
4. 检测每一行选择的是哪一项，并将结果储存起来，记录正确的个数
5. 计算最终得分并在图中标注

分步实现

轮廓识别——答题卡边缘识别

输入图像

import cv2 as cv
import numpy as np

# 正确答案
right_key = 0: 1, 1: 4, 2: 0, 3: 3, 4: 1

# 输入图像
img = cv.imread('./images/test_01.png')
img_copy = img.copy()
img_gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
cvshow('img-gray', img_gray)

图像预处理

# 图像预处理
# 高斯降噪
img_gaussian = cv.GaussianBlur(img_gray, (5, 5), 1)
cvshow('gaussianblur', img_gaussian)
# canny边缘检测
img_canny = cv.Canny(img_gaussian, 80, 150)
cvshow('canny', img_canny)

 

 

轮廓识别——答题卡边缘识别

# 轮廓识别——答题卡边缘识别
cnts, hierarchy = cv.findContours(img_canny, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
cv.drawContours(img_copy, cnts, -1, (0, 0, 255), 3)
cvshow('contours-show', img_copy)

透视变换——提取答题卡主体

对每个轮廓进行拟合，将多边形轮廓变为四边形

docCnt = None

# 确保检测到了
if len(cnts) > 0:
    # 根据轮廓大小进行排序
    cnts = sorted(cnts, key=cv.contourArea, reverse=True)

    # 遍历每一个轮廓
    for c in cnts:
        # 近似
        peri = cv.arcLength(c, True)
        # arclength 计算一段曲线的长度或者闭合曲线的周长；
        # 第一个参数输入一个二维向量，第二个参数表示计算曲线是否闭合

        approx = cv.approxPolyDP(c, 0.02 * peri, True)
        # 用一条顶点较少的曲线/多边形来近似曲线/多边形，以使它们之间的距离<=指定的精度；
        # c是需要近似的曲线，0.02*peri是精度的最大值，True表示曲线是闭合的

        # 准备做透视变换
        if len(approx) == 4:
            docCnt = approx
            break

透视变换——提取答题卡主体

# 透视变换——提取答题卡主体
docCnt = docCnt.reshape(4, 2)
warped = four_point_transform(img_gray, docCnt)
cvshow('warped', warped)

def four_point_transform(img, four_points):
    rect = order_points(four_points)
    (tl, tr, br, bl) = rect

    # 计算输入的w和h的值
    widthA = np.sqrt((tr[0] - tl[0]) ** 2 + (tr[1] - tl[1]) ** 2)
    widthB = np.sqrt((br[0] - bl[0]) ** 2 + (br[1] - bl[1]) ** 2)
    maxWidth = max(int(widthA), int(widthB))

    heightA = np.sqrt((tl[0] - bl[0]) ** 2 + (tl[1] - bl[1]) ** 2)
    heightB = np.sqrt((tr[0] - br[0]) ** 2 + (tr[1] - br[1]) ** 2)
    maxHeight = max(int(heightA), int(heightB))

    # 变换后对应的坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype='float32')

    # 最主要的函数就是 cv2.getPerspectiveTransform(rect, dst) 和 cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    M = cv.getPerspectiveTransform(rect, dst)
    warped = cv.warpPerspective(img, M, (maxWidth, maxHeight))
    return warped


def order_points(points):
    res = np.zeros((4, 2), dtype='float32')
    # 按照从前往后0，1，2，3分别表示左上、右上、右下、左下的顺序将points中的数填入res中

    # 将四个坐标x与y相加，和最大的那个是右下角的坐标，最小的那个是左上角的坐标
    sum_hang = points.sum(axis=1)
    res[0] = points[np.argmin(sum_hang)]
    res[2] = points[np.argmax(sum_hang)]

    # 计算坐标x与y的离散插值np.diff()
    diff = np.diff(points, axis=1)
    res[1] = points[np.argmin(diff)]
    res[3] = points[np.argmax(diff)]

    # 返回result
    return res

 

轮廓识别——识别出选项

# 轮廓识别——识别出选项
thresh = cv.threshold(warped, 0, 255, cv.THRESH_BINARY_INV | cv.THRESH_OTSU)[1]
cvshow('thresh', thresh)
thresh_cnts, _ = cv.findContours(thresh, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
w_copy = warped.copy()
cv.drawContours(w_copy, thresh_cnts, -1, (0, 0, 255), 2)
cvshow('warped_contours', w_copy)

questionCnts = []
# 遍历，挑出选项的cnts
for c in thresh_cnts:
    (x, y, w, h) = cv.boundingRect(c)
    ar = w / float(h)
    # 根据实际情况指定标准
    if w >= 20 and h >= 20 and ar >= 0.9 and ar <= 1.1:
        questionCnts.append(c)

# 检查是否挑出了选项
w_copy2 = warped.copy()
cv.drawContours(w_copy2, questionCnts, -1, (0, 0, 255), 2)
cvshow('questionCnts', w_copy2)

成功将无关轮廓剔除

检测每一行选择的是哪一项，并将结果储存起来，记录正确的个数

# 检测每一行选择的是哪一项，并将结果储存在元组bubble中，记录正确的个数correct
# 按照从上到下t2b对轮廓进行排序
questionCnts = sort_contours(questionCnts, method="t2b")[0]
correct = 0
# 每行有5个选项
for (i, q) in enumerate(np.arange(0, len(questionCnts), 5)):
    # 排序
    cnts = sort_contours(questionCnts[q:q+5])[0]

    bubble = None
    # 得到每一个选项的mask并填充，与正确答案进行按位与操作获得重合点数
    for (j, c) in enumerate(cnts):
        mask = np.zeros(thresh.shape, dtype='uint8')
        cv.drawContours(mask, [c], -1, 255, -1)
        # cvshow('mask', mask)

        # 通过按位与操作得到thresh与mask重合部分的像素数量
        bitand = cv.bitwise_and(thresh, thresh, mask=mask)
        totalPixel = cv.countNonZero(bitand)

        if bubble is None or bubble[0] < totalPixel:
            bubble = (totalPixel, j)

    k = bubble[1]
    color = (0, 0, 255)
    if k == right_key[i]:
        correct += 1
        color = (0, 255, 0)

    # 绘图
    cv.drawContours(warped, [cnts[right_key[i]]], -1, color, 3)
    cvshow('final', warped)

def sort_contours(contours, method="l2r"):
    # 用于给轮廓排序，l2r, r2l, t2b, b2t
    reverse = False
    i = 0
    if method == "r2l" or method == "b2t":
        reverse = True
    if method == "t2b" or method == "b2t":
        i = 1

    boundingBoxes = [cv.boundingRect(c) for c in contours]
    (contours, boundingBoxes) = zip(*sorted(zip(contours, boundingBoxes), key=lambda a: a[1][i], reverse=reverse))
    return contours, boundingBoxes

 

用透过mask的像素的个数来判断考生选择的是哪个选项

计算最终得分并在图中标注

# 计算最终得分并在图中标注
score = (correct / 5.0) * 100
print(f"Score: score%")
cv.putText(warped, f"Score: score%", (10, 30), cv.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255), 2)
cv.imshow("Original", img)
cv.imshow("Exam", warped)
cv.waitKey(0)

完整代码

import cv2 as cv
import numpy as np


def cvshow(name, img):
    cv.imshow(name, img)
    cv.waitKey(0)
    cv.destroyAllWindows()

def four_point_transform(img, four_points):
    rect = order_points(four_points)
    (tl, tr, br, bl) = rect

    # 计算输入的w和h的值
    widthA = np.sqrt((tr[0] - tl[0]) ** 2 + (tr[1] - tl[1]) ** 2)
    widthB = np.sqrt((br[0] - bl[0]) ** 2 + (br[1] - bl[1]) ** 2)
    maxWidth = max(int(widthA), int(widthB))

    heightA = np.sqrt((tl[0] - bl[0]) ** 2 + (tl[1] - bl[1]) ** 2)
    heightB = np.sqrt((tr[0] - br[0]) ** 2 + (tr[1] - br[1]) ** 2)
    maxHeight = max(int(heightA), int(heightB))

    # 变换后对应的坐标位置
    dst = np.array([
        [0, 0],
        [maxWidth - 1, 0],
        [maxWidth - 1, maxHeight - 1],
        [0, maxHeight - 1]], dtype='float32')

    # 最主要的函数就是 cv2.getPerspectiveTransform(rect, dst) 和 cv2.warpPerspective(image, M, (maxWidth, maxHeight))
    M = cv.getPerspectiveTransform(rect, dst)
    warped = cv.warpPerspective(img, M, (maxWidth, maxHeight))
    return warped


def order_points(points):
    res = np.zeros((4, 2), dtype='float32')
    # 按照从前往后0，1，2，3分别表示左上、右上、右下、左下的顺序将points中的数填入res中

    # 将四个坐标x与y相加，和最大的那个是右下角的坐标，最小的那个是左上角的坐标
    sum_hang = points.sum(axis=1)
    res[0] = points[np.argmin(sum_hang)]
    res[2] = points[np.argmax(sum_hang)]

    # 计算坐标x与y的离散插值np.diff()
    diff = np.diff(points, axis=1)
    res[1] = points[np.argmin(diff)]
    res[3] = points[np.argmax(diff)]

    # 返回result
    return res


def sort_contours(contours, method="l2r"):
    # 用于给轮廓排序，l2r, r2l, t2b, b2t
    reverse = False
    i = 0
    if method == "r2l" or method == "b2t":
        reverse = True
    if method == "t2b" or method == "b2t":
        i = 1

    boundingBoxes = [cv.boundingRect(c) for c in contours]
    (contours, boundingBoxes) = zip(*sorted(zip(contours, boundingBoxes), key=lambda a: a[1][i], reverse=reverse))
    return contours, boundingBoxes

# 正确答案
right_key = 0: 1, 1: 4, 2: 0, 3: 3, 4: 1

# 输入图像
img = cv.imread('./images/test_01.png')
img_copy = img.copy()
img_gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)
cvshow('img-gray', img_gray)

# 图像预处理
# 高斯降噪
img_gaussian = cv.GaussianBlur(img_gray, (5, 5), 1)
cvshow('gaussianblur', img_gaussian)
# canny边缘检测
img_canny = cv.Canny(img_gaussian, 80, 150)
cvshow('canny', img_canny)

# 轮廓识别——答题卡边缘识别
cnts, hierarchy = cv.findContours(img_canny, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
cv.drawContours(img_copy, cnts, -1, (0, 0, 255), 3)
cvshow('contours-show', img_copy)

docCnt = None

# 确保检测到了
if len(cnts) > 0:
    # 根据轮廓大小进行排序
    cnts = sorted(cnts, key=cv.contourArea, reverse=True)

    # 遍历每一个轮廓
    for c in cnts:
        # 近似
        peri = cv.arcLength(c, True)  # arclength 计算一段曲线的长度或者闭合曲线的周长；
        # 第一个参数输入一个二维向量，第二个参数表示计算曲线是否闭合

        approx = cv.approxPolyDP(c, 0.02 * peri, True)
        # 用一条顶点较少的曲线/多边形来近似曲线/多边形，以使它们之间的距离<=指定的精度；
        # c是需要近似的曲线，0.02*peri是精度的最大值，True表示曲线是闭合的

        # 准备做透视变换
        if len(approx) == 4:
            docCnt = approx
            break


# 透视变换——提取答题卡主体
docCnt = docCnt.reshape(4, 2)
warped = four_point_transform(img_gray, docCnt)
cvshow('warped', warped)


# 轮廓识别——识别出选项
thresh = cv.threshold(warped, 0, 255, cv.THRESH_BINARY_INV | cv.THRESH_OTSU)[1]
cvshow('thresh', thresh)
thresh_cnts, _ = cv.findContours(thresh, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
w_copy = warped.copy()
cv.drawContours(w_copy, thresh_cnts, -1, (0, 0, 255), 2)
cvshow('warped_contours', w_copy)

questionCnts = []
# 遍历，挑出选项的cnts
for c in thresh_cnts:
    (x, y, w, h) = cv.boundingRect(c)
    ar = w / float(h)
    # 根据实际情况指定标准
    if w >= 20 and h >= 20 and ar >= 0.9 and ar <= 1.1:
        questionCnts.append(c)

# 检查是否挑出了选项
w_copy2 = warped.copy()
cv.drawContours(w_copy2, questionCnts, -1, (0, 0, 255), 2)
cvshow('questionCnts', w_copy2)


# 检测每一行选择的是哪一项，并将结果储存在元组bubble中，记录正确的个数correct
# 按照从上到下t2b对轮廓进行排序
questionCnts = sort_contours(questionCnts, method="t2b")[0]
correct = 0
# 每行有5个选项
for (i, q) in enumerate(np.arange(0, len(questionCnts), 5)):
    # 排序
    cnts = sort_contours(questionCnts[q:q+5])[0]

    bubble = None
    # 得到每一个选项的mask并填充，与正确答案进行按位与操作获得重合点数
    for (j, c) in enumerate(cnts):
        mask = np.zeros(thresh.shape, dtype='uint8')
        cv.drawContours(mask, [c], -1, 255, -1)
        cvshow('mask', mask)

        # 通过按位与操作得到thresh与mask重合部分的像素数量
        bitand = cv.bitwise_and(thresh, thresh, mask=mask)
        totalPixel = cv.countNonZero(bitand)

        if bubble is None or bubble[0] < totalPixel:
            bubble = (totalPixel, j)

    k = bubble[1]
    color = (0, 0, 255)
    if k == right_key[i]:
        correct += 1
        color = (0, 255, 0)

    # 绘图
    cv.drawContours(warped, [cnts[right_key[i]]], -1, color, 3)
    cvshow('final', warped)


# 计算最终得分并在图中标注
score = (correct / 5.0) * 100
print(f"Score: score%")
cv.putText(warped, f"Score: score%", (10, 30), cv.FONT_HERSHEY_SIMPLEX, 0.9, (0, 0, 255), 2)
cv.imshow("Original", img)
cv.imshow("Exam", warped)
cv.waitKey(0)