简陋Web应用3实现人脸比对
Posted 清风莫追
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了简陋Web应用3实现人脸比对相关的知识,希望对你有一定的参考价值。
文章目录
🍉 前情提要
前面通过PaddleHub的人脸检测模型
pyramidbox_lite_mobile
,实现了一个在浏览器中上传人脸,进行人脸检测的小应用。这一节,我们将实现的功能是任意上传两张人脸图片,比较他们是否为同一人。
🌺 清风莫追 🌺
csdn个人主页:https://blog.csdn.net/m0_63238256
🌷 效果演示
🥝 实现过程
主要工具:Flask,Insightface
本来想继续使用PaddleHub的,但苦于没有找到合适的开箱即用的模型,于是我改用了Insightface。insightface是一个比较有名的人脸识别开源库,可以直接在Python中使用pip
进行安装,我找到的文档是英文的,因此上手得有些吃力(英语不好)。
insightface的github地址:https://github.com/deepinsight/insightface/tree/master/model_zoo
本次的内容大致如下:
-
将insightface的人脸识别功能包装为一个Web服务
-
后端从浏览器表单获取两张人脸图片,转发给人脸识别,得到人脸标注框和特征向量
-
通过特征向量的余弦相似度实现人脸比对(判断两张脸是否属于同一人)
-
画人脸标注框
-
在前端显示结果
补充:其实可以不用将insightface包装成Web服务,只用封装成一个函数就行。但是我的Flask和insightface安装在不同的python虚拟环境中,因此就以API的形式进行通信了。
目录结构:
- templates
- compare.html
- app.py
- insightface_api.py
- foms.py
- utils.py
其中,utils.py
封装了一些小脚本。
1. utils.py
我选择了以base64编码的格式,在API间传递数据(图像、特征向量、标注框等)。数据需要多次在不同格式间转换,为此我将一些转换过程封装成了函数的形式放在一起。嗯······还包含了几个其它功能的小函数。
这样功能实现的代码看起来逻辑会清晰一些。
import base64
import numpy as np
import cv2
# 图片文件content转cv2,并缩放到指定尺寸
def content_to_cv2(contents: list, size: tuple):
'''
content -> np -> cv2 -> cv2<target_size>'''
imgs_np = [np.asarray(bytearray(content), dtype=np.uint8) for content in contents]
imgs_cv2 = [cv2.imdecode(img_np, cv2.IMREAD_COLOR) for img_np in imgs_np]
imgs_cv2 = [cv2.resize(img_cv2, size, interpolation=cv2.INTER_LINEAR) for img_cv2 in imgs_cv2]
return imgs_cv2
def base64_to_cv2(img: str):
# 注:仅适合图像,不适合其它numpy数组,例如bboxs(人脸标注框)的数据
# base64 -> 二进制 -> ndarray -> cv2
# 解码为二进制数据
img_codes = base64.b64decode(img)
img_np = np.frombuffer(img_codes, np.uint8)
img_cv2 = cv2.imdecode(img_np, cv2.IMREAD_COLOR)
return img_cv2
def cv2_to_base64(image):
data = cv2.imencode('.jpg', image)[1]
return base64.b64encode(data.tostring()).decode('utf8')
def np_to_base64(array):
return base64.b64encode(array.tostring()).decode('utf8')
def base64_to_np(arr_b64):
return np.frombuffer(base64.b64decode(arr_b64), np.float32)
# 显示cv2格式的图像
def cv2_show(img_cv2):
cv2.imshow('img', img_cv2)
cv2.waitKey(0)
cv2.destroyAllWindows()
# 画人脸标注框
def cv2_with_rectangle(img_cv2, bboxs: list):
'''return --> 画好矩形标注框的图像'''
bboxs = [bbox.astype('int32') for bbox in bboxs]
for bbox in bboxs:
cv2.rectangle(
img_cv2,
(bbox[0], bbox[1]),
(bbox[2], bbox[3]),
(255, 0, 0), # 蓝色
thickness=2)
return img_cv2
# 计算特征向量的余弦相似度
def compare_face(emb1: np.ndarray, emb2: np.ndarray, threshold=0.6):
'''
@return -> (<numpy.bool>, <numpy.float32>)
- bool: 是否为同一张人脸
- float: 余弦相似度[-1, 1],值越大越相似 \\n
@params
- threshold: 判断两张人脸为同一张的余弦相似度阈值
'''
# return --> 余弦相似度[-1, 1],值越大,越相似
sim = np.dot(emb1, emb2) / (np.linalg.norm(emb1) * np.linalg.norm(emb2))
print(type(sim))
return sim > threshold, sim
2. compare.html
这里较为简陋地实现了浏览器中的显示效果。
<h1>人脸比一比</h1>
<!-- 上传图像的表单 -->
<form action="" method="post" class="mt-4" enctype="multipart/form-data">
<!-- csrf这一句好像可以删掉 -->
form.csrf_token
<li> form.face_img() </li>
<li> form.face_img2() </li>
<li><input type="submit" value="Submit"></li>
</form>
<!-- 显示检测结果 -->
% for img_base64 in imgs_base64 %
<img src="data:image/jpeg;base64, img_base64 " width="250" height="250">
% endfor %
% if imgs_base64 %
<p>是否为同一个人: <b> is_like </b></p>
<p>相似度[-1, 1]: <b> how_like </b></p>
% endif %
<!-- 显示错误信息 -->
% if form.face_img.errors %
<div class="alert alert-danger">
% for error in form.face_img.errors %
error
% endfor %
</div>
% endif %
3. forms.py
表单Face2Form
将从浏览器获取两张人脸图片,以对比他们是否为同一人。
你可能很奇怪我为什么要使Face2Form
类继承ImageForm
,嗯······因为ImageForm
是我上一节人脸检测时用过的,这样我之前的人脸检测就可以继续使用它。
from flask_wtf import FlaskForm
from flask_wtf.file import FileAllowed, FileRequired, FileSize, FileField
class ImageForm(FlaskForm):
face_img = FileField("face_img",
validators=[
FileRequired(message="不能为空"),
FileAllowed(['jpg', 'png'], message="仅支持jpg/png格式"),
FileSize(max_size=2048000, message="图片不能大于2Mb")
],
description="图片不能大于2Mb,仅支持jpg/png格式"
)
# 两张人脸图片 --> 用于比较人脸是否相同
class Face2Form(ImageForm):
face_img2 = FileField("face_img",
validators=[
FileRequired(message="不能为空"),
FileAllowed(['jpg', 'png'], message="仅支持jpg/png格式"),
FileSize(max_size=2048000, message="图片不能大于2Mb")
],
description="图片不能大于2Mb,仅支持jpg/png格式"
)
4. insightface_api.py
需要先安装insightface的python库:
pip install -U insightfae
在运行代码时可以自动下载的模型是buffalo_l
,如果需要使用其它模型,需要另外手动下载模型文件,并解压到~/.insightface/models/
目录下。我选择的是buffalo_sc
。因为相比前者有326MB大小,buffalo_sc
仅有16MB,更加轻量级。
模型手动下载地址:https://github.com/deepinsight/insightface/tree/master/python-package
(同时这也是insightface的python库的使用教程)
这个API接收一张base64编码格式的图片数据,并返回以json格式为数据体的响应。返回值的结构如下:
'embeddings': [<embedding1>, <embedding2>, ...],
'bboxs': [<bbox1>, <bbox2>]
代码:
# 基本完成
from flask import Flask, jsonify, request
from insightface.app import FaceAnalysis
from insightface.data import get_image as ins_get_image
import cv2
import numpy as np
import base64
from utils import base64_to_cv2, np_to_base64
app = Flask(__name__)
face_analysis = FaceAnalysis(providers=['CUDAExecutionProvider', 'CPUExecutionProvider'], name='buffalo_sc')
face_analysis.prepare(ctx_id=0, det_size=(640, 640))
@app.route('/detect', methods=['POST'])
def detect_faces():
img_base64 = request.data
img_cv2 = base64_to_cv2(img_base64)
faces = face_analysis.get(img_cv2)
embeddings = [np_to_base64(face['embedding']) for face in faces]
bboxs = [np_to_base64(face['bbox']) for face in faces] # [x1, y1, x2, y2]左上角和右下角的坐标
return jsonify("embeddings": embeddings, "bboxs": bboxs)
if __name__ == '__main__':
app.run(port=6000, debug=True)
5. app.py
我使用了较多的列表推导式(不久前学会的),可能导致代码的可读性较差,我针对其中的一部分,大致解释一下
rs = [requests.post(url=url, headers=headers, data=img_base64) for img_base64 in imgs_base64]
rs_json = [r.json() for r in rs]
bboxs = [r_json['bboxs'] for r_json in rs_json]
bboxs = [[base64_to_np(bbox) for bbox in bs] for bs in bboxs]
imgs_base64
是两张图片的数据,这里其实就是前面包装的人脸识别的API发起了两次请求,每次都识别一张图片并得到一个响应对象<Response>
,将这两个响应放入了一个列表中,即rs
。故rs
的结构如下:
[<Response1>, <Response2>]
r.json()
用于获取响应对象中的数据,得到列表rs_json
,列表中的每个元素对于一张图片的识别结果:
[<r_json1>, <r_json2>]
然后将每张图片中的标注框取出就得到bboxs
,其中每个字符串是一个人脸的标注框数据编码成base64后的结果,由于一张图片中可以有多个人脸,所以bboxs
的每个元素(指内层列表)中可能有多个字符串。
[[str1_1, str1_2, ...],
[str2_1, str2_2, ...]]
然后将字符串解码为numpy的数组,得到解码后的bboxs
,大致结构如下
[[[x1, y1, x2, y2],
[x1, y1, x2, y2],...]
[[x1, y1, x2, y2],
[x1, y1, x2, y2],...]
代码:
from flask import Flask, render_template, request
import requests
from forms import Face2Form
import time
from utils import cv2_to_base64, base64_to_np
from utils import compare_face, cv2_with_rectangle, content_to_cv2
app = Flask(__name__)
app.config['SECRET_KEY'] = 'your_secret_key_here'
# 2. 比较两张人脸
@app.route('/compare', methods=['GET', 'POST'])
def compare():
form = Face2Form()
if form.validate_on_submit():
# 1. 从前端获取人脸图片文件
file1 = form.face_img.data
file2 = form.face_img2.data
files = [file1, file2]
contents = [file.read() for file in files]
# 2. 图片文件转cv2,并缩放到指定尺寸
imgs_cv2 = content_to_cv2(contents, (300, 250))
# 3. cv2转base64编码的字符串 --> 传给模型
imgs_base64 = [cv2_to_base64(img_cv2) for img_cv2 in imgs_cv2]
# 4. 载入模型 --> 获得特征向量 + 人脸标注框
headers = "Content-type": "application/json"
url = "http://127.0.0.1:6000/detect"
rs = [requests.post(url=url, headers=headers, data=img_base64) for img_base64 in imgs_base64]
rs_json = [r.json() for r in rs]
embeddings = [r_json['embeddings'] for r_json in rs_json]
embeddings = [[base64_to_np(emb) for emb in embs] for embs in embeddings]
bboxs = [r_json['bboxs'] for r_json in rs_json]
bboxs = [[base64_to_np(bbox) for bbox in bs] for bs in bboxs]
# 5. 比较两张图片中,各自第一张人脸的特征向量
embs = [embeddings[i][0] for i in range(len(embeddings))]
is_like, how_like = compare_face(embs[0], embs[1], threshold=0.5)
# 6. 框出检测到的人脸(第一张)
imgs_cv2 = [cv2_with_rectangle(imgs_cv2[i], bboxs[i]) for i in range(len(imgs_cv2))]
imgs_base64 = [cv2_to_base64(img_cv2) for img_cv2 in imgs_cv2]
# 7. 返回比较结果
return render_template(
'compare.html', form=form,
imgs_base64=imgs_base64,
is_like=is_like,
how_like=how_like)
return render_template('compare.html', form=form)
# --> 启动app
if __name__ == '__main__':
app.run(debug=True, port=5000)
启动应用
注意,app.py
需要和insightface_api.py
同时运行,才能正常工作。
python insightface_api.py
python app.py
🍅 记录
1. Bugs
1.1 cv2.imshow()报错
详细信息:
Traceback (most recent call last):
File "d:\\code_all\\code_python\\Web开发基础\\face_verify\\compare.py", line 18, in <module>
cv2_show(img)
File "d:\\code_all\\code_python\\Web开发基础\\face_verify\\compare.py", line 10, in cv2_show
cv2.imshow('img', img_cv2)
cv2.error: OpenCV(4.7.0) D:\\a\\opencv-python\\opencv-python\\opencv\\modules\\highgui\\src\\window.cpp:1272: error: (-2:Unspecified error) The function is
not implemented. Rebuild the library with Windows, GTK+ 2.x or Cocoa support. If you are on Ubuntu or Debian, install libgtk2.0-dev and pkg-config,
then re-run cmake or configure script in function 'cvShowImage'
大致是说:这个错误提示表明 OpenCV 的窗口相关功能没有实现,需要重新编译库并添加相应的支持。解决方案:重装opencv库。
1.2 insightface人脸检测标注框错乱(💢)
如下图(左为PaddleHub的人脸检测效果,右为insightface)
我在insightface的服务端使用cv2展示的图像是正常的,并没有发生失真。按理insightface作为一个之名的开源人脸识别库不至于这么糟糕,那还是我的问题咯。
解决:过不其然,是因为画矩形人脸标注框的时候,有个下标打错了(本来顺序是[0, 1, 2, 3],写成了[0, 1, 2, 2])。
2. 杂记
1、关于base64转numpy
在base64
转numpy
数组时,要注意元素的类型,之前是float32
,解码成数组时就要写float32
,否则你可能连元素的数量都对不上,比如你使用了uint8
(常用于图像)时。且经历了np --> base64 --> np
的过程,多维的numpy数组将被展平。因此,解码之后使用reshape
成原来的形状,(在app间,你也可以把shape
作为一条数据传过来)。
2、关于图片纵横比与识别效果
前面的代码中是直接将输入的图片变换为指定的尺寸,例如**(250, 250)**,但如果原来的图片并不是正方形,这样的尺寸变换就会导致失真,即图片被拉伸或压扁,导致有时图片中的人脸无法被识别。
其实可以写一个保持纵横比的缩放。
🌾 小结
本次成功在浏览器中实现人脸比对的功能,对Flask框架的了解还是比较浅,有时想要实现某个任务但是不知道要怎么办,不怎么会查找文档和相关的资料。例如,很疑惑jsonify()
到底会给对方返回个啥,对方又要如何去取出其中的数据。
嗯······就感觉接触和使用不熟的东西的能力,有待提升。
简陋Web应用2人脸检测——基于Flask和PaddleHub
文章目录
🚩 前言
本次实现了一个在浏览器中运行的简陋的人脸检测功能,由于水平有限,这里使用表单上传图片,只能一次检测一张人脸。实现过程中遇到的主要问题是数据格式转换的问题。
🌺 清风莫追 🌺
csdn个人主页:https://blog.csdn.net/m0_63238256
🌺 效果演示
🥦 分析与设计
之前已经成功基于AI分词模型,构建了一个Web应用。套路大致相同,与本次任务的主要区别在于,本次传递的数据是图像而不是文本。图像数据会带来一个新的问题:
- 图像的编码方式丰富,数据处理过程中需要进行一些数据格式转换。
应用的逻辑大致如下:
- 用户通过表单从浏览器上传图像
- 将图像转发给人脸检测模型,得到人脸位置坐标
- 使用矩形框出图像中的人脸
- 浏览器显示结果
🍉 实现
🍬 1. 部署人脸检测模型
一行命令即可完成服务化部署(你需要先安装PaddleHub库),pyramidbox_lite_mobile
是一个预训练的人脸检测模型。
hub serving start -m pyramidbox_lite_mobile
你可以使用下面的代码(来自PaddleHub的文档,记得修改未你自己的图片存放路径),测试接口:
# coding: utf8
import requests
import json
import cv2
import base64
def cv2_to_base64(image):
data = cv2.imencode('.jpg', image)[1]
return base64.b64encode(data.tostring()).decode('utf8')
if __name__ == '__main__':
# 获取图片的base64编码格式 (记得修改你自己的图片存放路径)
img1 = cv2_to_base64(cv2.imread("./static/Aaron_Peirsol_0001.jpg"))
img2 = cv2_to_base64(cv2.imread("./static/Aaron_Peirsol_0002.jpg"))
data = 'images': [img1, img2]
# 指定content-type
headers = "Content-type": "application/json"
# 发送HTTP请求
url = "http://127.0.0.1:8866/predict/pyramidbox_lite_mobile"
r = requests.post(url=url, headers=headers, data=json.dumps(data))
# 打印预测结果
print(r.json())
🍭 2. 使用Flask构建app
2.1 目录结构
- templates
- index.html
- app.py
- forms.py
- utils.py
其中utils.py
封装了一些简单的函数。
2.2 forms.py
下面定义了一个表单,它只有一个字段face_img
,用于上传待检测的人脸图片。validatiors
中描述了很多message
,在上传的表单不满足约束时,可在html模板中通过 form.face_img.erros
获取相关的message
信息。
from flask_wtf import FlaskForm
from flask_wtf.file import FileAllowed, FileRequired, FileSize, FileField
class ImageForm(FlaskForm):
face_img = FileField("face_img",
validators=[
FileRequired(message="不能为空"),
FileAllowed(['jpg', 'png'], message="仅支持jpg/png格式"),
FileSize(max_size=2048000, message="图片不能大于2Mb")
],
description="图片不能大于2Mb,仅支持jpg/png格式"
)
2.3 utils.py
封装了三个简单的函数,但在app.py
中只使用了cv2_to_base64()
。
import base64
import numpy as np
import cv2
def base64_to_cv2(img: str):
# base64 -> 二进制 -> ndarray -> cv2
# 解码为二进制数据
img_codes = base64.b64decode(img)
img_np = np.frombuffer(img_codes, np.uint8)
img_cv2 = cv2.imdecode(img_np, cv2.IMREAD_COLOR)
return img_cv2
def cv2_to_base64(image):
data = cv2.imencode('.jpg', image)[1]
return base64.b64encode(data.tostring()).decode('utf8')
# 显示cv2格式的图像 --> 开发过程中测试图像是否正常时使用
def cv2_show(img_cv2):
cv2.imshow('img', img_cv2)
cv2.waitKey(0)
cv2.destroyAllWindows()
2.4 app.py
注:如果以后数据在转换的过程中究竟变成了什么格式,那就把它们打印出来看看叭!例如
print(data, type(data))
。
主要的逻辑就在这里了,图像主要经历了三种类型的格式:
- 文件对象:从前端表单返回的图像文件的格式。
- cv2:opencv的图像格式,是一个
numpy
的ndarray
数组。 - str:base64编码格式的字符串;是作为模型输入,和在前端显示图像的格式。
数据格式的变化流程大致如下图:
# 注:在推理前将图像缩放到指定的尺寸,即能提升速度,有时也能提升精度(实测像素太高时识别效果也不好)
from flask import Flask, render_template, request
import requests
from forms import ImageForm
import cv2
import numpy as np
import json
import time
from utils import cv2_to_base64
app = Flask(__name__)
app.config['SECRET_KEY'] = 'your_secret_key_here'
@app.route('/', methods=['GET', 'POST'])
def predict():
form = ImageForm()
if form.validate_on_submit():
# 1. 从前端表单获取图像文件
file = form.face_img.data # <class 'werkzeug.datastructures.FileStorage'>
file_content = file.read() # <class 'bytes'>
# 2. 图像文件转cv2, 并缩放到指定尺寸 --> 尺寸太大或太小,识别精度都会变差
img_cv2 = np.asarray(bytearray(file_content), dtype=np.uint8) # (len,)
img_cv2 = cv2.imdecode(img_cv2, cv2.IMREAD_COLOR) # (w, h, c)
img_cv2 = cv2.resize(img_cv2, (250, 250), interpolation=cv2.INTER_LINEAR)
# 3. cv2转str(base64)
img_base64 = cv2_to_base64(img_cv2)
# 4. str(base64)输入模型 --> json --> 人脸框坐标
data = 'images': [img_base64]
headers = "Content-type": "application/json"
url = "http://127.0.0.1:8866/predict/pyramidbox_lite_mobile"
start_time = time.time()
r = requests.post(url=url, headers=headers, data=json.dumps(data))
use_time = time.time() - start_time
rectangle = r.json()['results'][0]['data'][0] # 一张图片 --> dictconfidence, left, top, right, bottom
# 5. cv2,json --> 画矩形 --> cv2
cv2.rectangle(
img_cv2,
(rectangle['left'], rectangle['top']),
(rectangle['right'], rectangle['bottom']),
(255, 0, 0), # 蓝色
thickness=2)
# 6. cv2转str(base64)
img_base64 = cv2_to_base64(img_cv2)
# 7. str(base64) 返回到前端
return render_template(
'index.html', form=form, img_base64=img_base64,
confidence=rectangle['confidence'], use_time=use_time)
return render_template('index.html', form=form)
if __name__ == '__main__':
app.run(debug=True, port=5000)
2.5 index.html
视图模板,也是十分简陋。
<h1>试试人脸检测</h1>
<!-- 1. 上传图像的表单 -->
<form action="" method="post" class="mt-4" enctype="multipart/form-data">
<!-- csrf这一句好像可以没啥用 -->
form.csrf_token
form.face_img()
<input type="submit" value="Submit">
</form>
<!-- 2. 显示检测结果 -->
% if img_base64 %
<img src="data:image/jpeg;base64, img_base64 " width="250" height="250">
<p>置信度: confidence </p>
<p>推理耗时(秒): use_time </p>
% endif %
<!-- 3. 显示错误信息 -->
% if form.face_img.errors %
<div class="alert alert-danger">
% for error in form.face_img.errors %
error
% endfor %
</div>
% endif %
🥝 Bug(s)
1、后端接收不到上传的图片
使用表单的模板代码如下:
<form action="" method="post" class="mt-4">
<!-- csrf这一句好像可以删掉 -->
form.csrf_token
form.face_img()
<input type="submit" value="Submit">
</form>
解决:在 Flask 中处理文件上传时,需要<form>
中添加 enctype="multipart/form-data"
属性,这样浏览器才能正确识别上传的文件数据。
2、数据格式转换晕头转向
在app.py
中,我最初对于图像格式的转换十分懵圈,想整理下思路,结果却如下图,还是很乱。经过多次重构,才变成了 2.5 app.py 那里显示的图。
重构还是挺有用的!有时代码经过重构也会变得清晰。
完
以上是关于简陋Web应用3实现人脸比对的主要内容,如果未能解决你的问题,请参考以下文章