大数据无人像怎么办

Posted 2023-03-24

超实用！自动过滤无人脸/无人体图片 EasyData智能数据清洗事半功倍
时间：2020-09-04 11:06:15来源：互联网
在进行AI模型开发时，数据的数量与质量直接影响模型效果。在实地数据采集之后，企业往往需要从大量数据中筛选出符合训练要求的相关数据，剔除质量差或不相关的数据，这个步骤被称为数据清洗。

通常来讲，在清洗数据时主要会清理掉对训练任务没有用途的数据，例如在训练工厂工人佩戴安全帽识别模型时，希望在视频抽帧后的大量图片中仅保留有工人出现的图片进行标注训练。在这一步骤上，传统做法是进行人工筛选，人力投入较多且容易发生遗漏;随着人工智能发展，目前许多平台，如百度大脑AI开放平台，已经提供人脸检测、人体检测的通用接口，用户可以先调用接口处理数据，筛选出采集到人像的数据，再进入到具体的检测识别步骤。那么，是否有一个集成了各项数据处理能力，尽量减少人工干预，能够自动完成视频数据采集、抽帧、数据清洗、智能标注，从而高效提取高质量训练数据的解决方案呢?

关注到有越来越多的用户对数据处理有强烈需求，今年4月，百度全新推出智能数据服务平台EasyData，集数据采集、数据清洗、数据标注等功能于一身，完成上述数据处理工作之后，可以在EasyDL平台进行模型训练、模型部署。

针对数据清洗这一具体功能，EasyData目前上线了去相似、去模糊、旋转、裁剪和镜像这5种基础的数据清洗功能。那么除了常规能力之外，EasyData还有什么业内独家的终极秘技?

从应用出发，高级清洗功能让数据处理事半功倍

在园区智能管理等场景下，需要监测工厂园区、林区中是否有人闯入，或检查工人是否佩戴安全帽。为了满足此类场景下的图片清洗需求，EasyData上线了高级清洗功能，将无人脸、无人体出现的数据进行过滤。EasyData联动百度大脑AI开放平台提供的前沿技术能力，用户仅需在百度智能云上开通相应的服务(人脸检测和人体检测都可以免费试用)，就可以通过简单的配置，在EasyData平台上直接使用这些功能进行自动数据清洗。

1、过滤无人脸图片

如果以前没有用过百度智能云的人脸检测服务，第一次使用高级清洗的功能会提示“申请免费试用”，点击链接会进入百度智能云人脸检测的页面，按照提示，开通服务后，再回到EasyData的页面就可以正常使用了。

和基础的数据清洗服务一样，过滤无人脸图片也是以数据集为单位的。在数据清洗页面选择过滤无人脸图片，点击保存，提交任务就可以进行清洗。如果勾选了“保留标签”，那么不仅会把没有人脸的图片过滤，还会将人脸画框同步至清洗后的数据集。

提交任务时勾选保留人脸画框

例如下图，清洗前的数据集除了人脸图片，还有一些风景照、车辆等其他物体的照片，人脸过滤会把这些没有人脸的图片过滤，保留下来包含人脸的图片，包括戴口罩、被遮挡的人脸也可以识别出来。

清洗前的数据集中有人脸照片、风景照、静物照

清洗后的数据集只有人脸照片被保存下来

戴口罩的人脸图片

2、过滤无人体图片

过滤无人体图片同样会用到百度智能云的人体检测能力，在使用之前需要在百度智能云上开通相应的服务。过滤无人体图片会用到两个接口，人体检测和属性分析(https://ai.baidu.com/tech/body/attr)和人像分割(https://ai.baidu.com/tech/body/seg)。数据集模板为图像分类和物体检测的数据集会调用人体检测和属性分析接口，数据集模板为图像分割的数据集会调用人像分割接口。百度智能云上的人像分割接口返回的是人像图片对应的二值图片(人像为1，背景为0)，在后端会执行相应的标签转换，返回的二值图片转换成对应的标签。

清洗前的数据集中有风景图、静物图和人体图

数据清洗过滤保留的5张人体图片

模板为图像检测的数据集清洗后的标签

模板为图像分割的数据集清洗后的标签

关注广泛需求，提供多种基础数据清洗功能

1、去相似图片

用摄像头自动采集图片的时候，由于长时间在同一个场景下，即使做了抽帧处理，还是会有大量的相似图片。大量的相似图片，数据价值低，而且占用了大量的存储空间，而人工筛选，耗时费力，容易出错。EasyData平台推出的去相似图片利用图片的相似检索特征，计算图片的两两相关性，可以自动地判断相似图片、保留不相似的图片，具体操作也十分简便。

如下图所示，去相似前的数据集里有8张图片，根据图片的相似度，图片可以分成3类。清洗完成后的数据集中有3张图片，分别是清洗前的3类图片中的一张。

去相似前的8张图片

去相似后保留下来3张图片

拖拽圆点可以修改相似度分值

2、去模糊图片

相机抖动、物体快速移动都会造成拍出来的图片不清晰、产生低质图片。通过人工挑选的方法去除模糊图片缺乏统一的标准，容易漏删或多删。利用EasyData的去模糊图片，可以轻易地去除模糊图片。

以示例图片为例，清洗前有5张图片，画质不一，清洗后保留下来两张高质量的图片。此外，如果用户认为有部分模糊图片没有去除，或者高质量的图片没有保留下来，可以考虑调整清晰度的分值，重新清洗。

去模糊前的5张画质不一的图片

去模糊后保留下来清晰图片

拖拽圆点可以修改清晰度分值

对于普通清洗，可以在一个清洗任务中提交多个清洗操作，例如同时勾选去相似、去模糊功能，即可同时去除相似和模糊的图片。

目前的数据清洗服务所能支持的最大数据集大小是5万张图片。基于EasyData平台的大数据处理平台，对于基础清洗服务，2万张图片的数据集，仅需1小时可以完成清洗;5万张图片的数据集，只需2小时即可完成清洗。对于高级清洗服务来说，清洗效率也可以通过配置QPS灵活调整清洗效率，更方便快捷。

考虑到智能园区管理等场景中，有对视频进行截帧、自动上传的需求，EasyData平台也免费提供SDK，供用户进行下载，可以将SDK接入业务现场的数据采集终端，在平台设置截帧时间与间隔，自动将原始视频数据截为图片数据并上传至EasyData平台进行后续处理。

EasyData是百度大脑推出的业内首个提供软硬一体、端云协同的智能数据采集与处理平台，支持图片、文本、音频和视频四类数据的处理，其中图片数据支持了采集、清洗、标注一站式处理，覆盖模型开发中的各类数据管理需求。EasyData处理后的数据可直接应用于EasyDL模型训练，通过EasyDL预训练模型和自动迁移学习机制，高效开发AI模型。

立即体验EasyData：https://ai.baidu.com/easydata/

更多热门内容
摩托罗拉 Moto G53 5G即将开售：性能升级，高性价比
近日，摩托罗拉公司宣布即将在国际市场上推出其最新款手机 Moto G53 5G，这款手机将具备强大的配置和优秀的性价比。首先，Moto G53 5G 搭载了一块 6.5 英寸的 120Hz 高刷屏，可以提供更流畅的操作体验。此外，手机还配备了 5000 万像素的主摄像头，支持 Quad Pi
2023-01-15

Moto G73 5G抢先看: 120Hz刷新率，杜比全景声，游戏模式加持
近日，摩托罗拉推出了其最新的 5G 手机 Moto G73，并在宣传物料中曝光了该机的一些重要参数。首先，Moto G73 5G 拥有 6.5 英寸的 LCD 屏幕，分辨率为 2400*1080，刷新率高达 120Hz，可以给用户带来更高的视觉体验。此外，该机还配备了立体的杜比全景声，可以获
2023-01-15

消息称Apple Watch定制microLED屏幕将交由LG生产
1月14日消息，屏幕供应链咨询公司DSCC首席执行官罗斯・杨(Ross Young)在最新推文中表示，苹果为后续Apple Watch定制的microLED屏幕将会交由LG生产。IT之家了解到，Young在推文中表示LG Display正在建造一条小规模生产线，为苹果提供microLED屏幕。苹果有望在202
2023-01-15

惠普新款暗影精灵游戏本官方图赏：13 代酷睿 HX + RTX 40，QHD 240Hz 屏
1 月 13 日消息，惠普在今年 CES 上发布了新款暗影精灵游戏本，外观基本不变，配置升级到最新的 13 代酷睿 HX 处理器 + RTX 40 显卡。IT之家在惠普官网了解到，新款 OMEN 17 游戏本将可选i7-13700HX （8+8 核）和 i9-13900HX （8+16 核）处理器，显卡为 RTX 40
2023-01-14

华硕介绍新款 RTX 4080 猫头鹰联名版显卡：兼具性能和安静性
1 月 13 日消息，华硕在今年 CES 上发布了 RTX 4080 猫头鹰联名版，官方表示这款显卡实现了卓越空气动力学性能、散热和声学效果，兼具性能和安静性。据介绍，去年华硕就与猫头鹰合作，推出了采用猫头鹰散热技术的 RTX 3070/3080 显卡。如今，华硕又推出了 RTX 4
2023-01-14

2023性能战神！卢伟冰：Redmi K60 Pro是用户追求性能的不二之选
今日消息，小米集团卢伟冰表示，Redmi K60 Pro是用户追求性能的不二之选，它搭载第二代骁龙8年度旗舰芯，配合自研狂暴引擎，绝对是超越电竞手机的2023性能战神。颜值高，性能狠，选它就对了。经测试，Redmi K60 Pro安兔兔跑分轻松突破130万分，3DMark Wild Life
2023-01-14

小米最强旗舰已在路上！小米13 Ultra配备2K E6屏幕
今日消息，博主智慧皮卡丘爆料，小米13 Ultra是2K E6曲面屏，该机有可能会在4月份前后发布。目前小米已经发布小米13和小米13 Pro，最强版本小米13 Ultra尚未登场，它将是小米13系列的最强版本。对比小米13 Pro，小米13 Ultra同样采用2K E6屏幕、第二代骁龙8
2023-01-14

英伟达展示RTX 4080移动显卡：能耗大幅降低 远超前代旗舰
在CES 2023上，英伟达发布了RTX 40系移动版显卡，优秀的能效比让无数玩家对游戏本性能充满了期待。同时英伟达在展台上演示了搭载RTX 4080显卡的笔记本，能效比遥遥领先上代旗舰。这次英伟达发布了RTX 4050移动版、RTX 4060移动版、RTX 4070移动版、RTX 4080移动
2023-01-14

联想GeekPro 2023主机首销6199元起：13代i5+RTX 3060
1月13日消息，联想新款GeekPro台式机已经开售，搭载了Intel最新的65W 13代酷睿处理器，售价6199元起。处理器为Intel最新的i5-13400F，10核心16线程，最高睿频5.0GHz，还可选i7-13700F处理器，16核心24线程，睿频可达5.1GHz，另配有16GB DDR5内存，SSD容量为512G
2023-01-14

苹果开修iPhone 14 Pro屏幕横线：软件问题、将很快发布更新修复
2023-01-14 参考技术A 1、过滤无人脸图片

如果以前没有用过百度智能云的人脸检测服务，第一次使用高级清洗的功能会提示“申请免费试用”，点击链接会进入百度智能云人脸检测的页面，按照提示，开通服务后，再回到EasyData的页面就可以正常使用了。

和基础的数据清洗服务一样，过滤无人脸图片也是以数据集为单位的。在数据清洗页面选择过滤无人脸图片，点击保存，提交任务就可以进行清洗。如果勾选了“保留标签”，那么不仅会把没有人脸的图片过滤，还会将人脸画框同步至清洗后的数据集。

提交任务时勾选保留人脸画框

例如下图，清洗前的数据集除了人脸图片，还有一些风景照、车辆等其他物体的照片，人脸过滤会把这些没有人脸的图片过滤，保留下来包含人脸的图片，包括戴口罩、被遮挡的人脸也可以识别出来。

清洗前的数据集中有人脸照片、风景照、静物照

清洗后的数据集只有人脸照片被保存下来

戴口罩的人脸图片

2、过滤无人体图片

过滤无人体图片同样会用到百度智能云的人体检测能力，在使用之前需要在百度智能云上开通相应的服务。过滤无人体图片会用到两个接口，人体检测和属性分析(https://ai.baidu.com/tech/body/attr)和人像分割(https://ai.baidu.com/tech/body/seg)。数据集模板为图像分类和物体检测的数据集会调用人体检测和属性分析接口，数据集模板为图像分割的数据集会调用人像分割接口。百度智能云上的人像分割接口返回的是人像图片对应的二值图片(人像为1，背景为0)，在后端会执行相应的标签转换，返回的二值图片转换成对应的标签。

清洗前的数据集中有风景图、静物图和人体图

数据清洗过滤保留的5张人体图片

模板为图像检测的数据集清洗后的标签

模板为图像分割的数据集清洗后的标签

人脸识别的人像处理流程是怎样的？

在大数据时代，人工智能的发展正在改变我们的生活，让我们的生活变得更加便捷。比如刷脸进站、刷脸支付、刷脸考勤、高校学习等领域，人脸识别技术逐渐***了我们的生活，人脸识别的公司为我们提供了更加便捷的生活方式，那么人脸识别技术的人像处理流程是怎样的呢？下面捷易科技就来介绍下。

人脸识别的处理流程主要由四个成分组成，分别是：采集与检测人脸图像、预处理人脸图像、提取人脸特征图像、匹配与识别人脸头像。

---

1、采集与检测人脸图像

无论是何种人脸图像都能通过摄像头采集下来，例如提取照片中的头像、动态头像、不同表情、不同位置等等都可以很好地采集下来。当被采集人员在设备自动搜索的范围内，设备就可自动搜索并完成人脸拍摄。人脸的检测在实际操作中主要是作为识别人脸的预处理，即准确标定出图像中人脸的位置与大小。人脸图像中包含有十分丰富的模式特征，比如颜色特征、模板特征、直方图特征、结构特征以及Haar特征等。人脸检测实际上就是将这些信息标记出来，并用这些特征完成人脸检测。

---

2、预处理人脸图像

人脸图像预处理根据人脸检测的结果对图像进行处理，系统获取原始图像会受到各种条件的限制和干扰，通常不能直接使用，必须在处理图像的早期阶段进行校正、音频过滤等处理。在处理图像的过程中通常会做一些光线补偿、归一化、滤波和锐化等等。

---

3、提取人脸特征图像

人脸识别系统在识别的过程中可使用的特征通常为视觉特征、人脸图像变换系数特征、人脸图像代数特征、像素统计特征等。在提取人脸特征的过程中主要是针对人脸的某一些特征来提取，这是对人脸的建模。

---

4、匹配与识别人脸头像

在提取人脸头像数据的过程中与数据库中存储的特征进行搜索匹配，根据相似度对被识别者的身份信息进行判断。这一过程可分为两类：一是确认、二是辨认。确认是对图像进行一对一的比较，辨认是将头像进行一对多的检索比对。

人脸识别过程大致就是这四个技术流程，完成这四个流程就能够准确进行对人脸的识别，这基本就是人脸识别技术蕴藏的奥秘所在。