AI视觉检测技术是如何实现的？在现实生活中有哪些应用？

Posted 2021-11-09 TSINGSEE

制造业中的AI智能是一个时髦的术语。在描述基于人工智能的缺陷检测解决方案时，通常是关于某种基于深度学习和计算机视觉的视觉检测技术。

什么是视觉检测中的深度学习？

深度学习是机器学习技术的一个方面，由人工神经网络提供支持。深度学习技术的工作原理是教机器通过实例学习。通过为神经网络提供特定类型数据的标记示例，可以提取这些示例之间的共同模式，然后将其转换为数学方程。这有助于对未来的信息进行分类。

通过视觉检测技术，深度学习算法的集成可以区分零件、异常和字符，在运行计算机化系统的同时模拟人类视觉检测。

那么，这到底是什么意思呢？让我们举个例子。

如果要为汽车制造创建视觉检测软件，你应该开发一种基于深度学习的算法，并使用必须检测的缺陷示例对其进行训练。有了足够的数据，神经网络最终会在没有任何额外指令的情况下检测缺陷。

基于深度学习的视觉检测系统擅长检测性质复杂的缺陷。它们不仅可以解决复杂的表面和外观缺陷，还可以概括和概念化汽车零件的表面。

如何集成AI视觉检测系统

1. 明确需求

视觉检测开发通常从业务和技术分析开始。这里的目标是确定系统应该检测什么样的缺陷。

需要提前明确的重要问题包括：

• 什么是AI视觉检测系统的环境？
  • AI检测应该是实时的还是延时的？
  • AI视觉检测应该如何彻底检测缺陷，是否应该按类型区分？
  • 是否有任何现有的软件可以集成视觉检测功能，还是需要从头开始开发？
  • 系统应如何将检测到的缺陷通知用户？
  • AI视觉检测系统是否应该记录缺陷检测统计数据？
  • 关键问题是：是否存在用于深度学习模型开发的数据，包括“好”和“坏”产品的图像以及不同类型的缺陷？

2. 收集和准备数据

在深度学习模型开发开始之前，数据科学工程师必须收集和准备训练未来模型所需的数据。 对于制造流程，实施物联网数据分析非常重要。在谈论AI视觉检测模型时，数据通常是视频记录，其中视觉检测模型处理的图像包括视频帧。 数据收集有多种选择，但最常见的是：

• 现有视频记录
• 适用于特定目的的开源视频记录
• 根据深度学习模型要求从头开始收集数据

这里最重要的参数是视频记录的质量。更高质量的数据将导致更准确的结果。一旦我们收集了数据，我们就为建模做好准备、清理、检查异常并确保其相关性。

3. 开发深度学习模型

深度学习模型开发方法的选择取决于任务的复杂性、所需的交付时间和预算限制。有几种方法：

• 1）使用深度学习模型开发（例如：Google Cloud ML Engine、Amazon ML 等）

当缺陷检测功能的要求与给定服务提供的模板一致时，这种类型的方法是有意义的。这些服务可以节省时间和预算，因为无需从头开始开发模型。只需要根据相关任务上传数据并设置模型选项。

问题就是这些类型的模型不可定制。模型的功能仅限于给定服务提供的选项。

• 2） 使用预训练模型

预训练模型是一种已经创建的深度学习模型，它可以完成与我们想要执行的任务类似的任务。我们不必从头开始构建模型，因为它使用基于用户自己的数据训练模型。

预训练模型可能不会 100% 符合我们的所有任务，但它可以节省大量时间和成本。使用之前在大型数据集上训练过的模型，用户可以根据自己的问题定制这些解决方案。

• 3）从零开始深度学习模型开发

这种方法非常适用于复杂且安全的视觉检测系统。这种方法可能需要大量时间和精力，但结果是值得的。

在开发自定义视觉检测模型时，数据科学家会使用一种或多种计算机视觉算法。这些包括图像分类、对象检测和实例分割。

许多因素会影响深度学习算法的选择。 这些包括：

• 业务目标
• 物体/缺陷的大小
• 光照条件
• 检验产品数量
• 缺陷类型
• 图像分辨率

假设我们正在开发用于建筑物质量评估的目视检查模型。主要重点是检测墙壁上的缺陷。需要大量数据集才能获得准确的视觉检查结果，因为缺陷类别可能非常多样化，从油漆剥落和霉菌到墙壁裂缝。这里的最佳方法是从头开始开发基于实例分割的模型。 在某些情况下，预先训练的模型方法也是可行的。

4. 训练和评估

开发视觉检测模型后的下一步是对其进行训练。在这个阶段，数据科学家验证和评估模型的性能和结果准确性。测试数据集在这里很有用。 对于视觉检测系统，它可能是一组过已有的或类似于要在部署后处理的视频资料。

5. 部署和改进

在部署视觉检测模型时，重要的是要考虑软件和硬件系统架构如何与模型容量对应。

• 1）软件

视觉检测驱动软件的结构基于用于数据传输的 Web 解决方案和用于神经网络处理的 Python 框架的组合。这里的关键参数是数据存储。有三种常见的数据存储方式：在本地服务器、云服务或无服务器架构上。

AI视觉检测系统涉及视频记录的存储。数据存储解决方案的选择通常取决于深度学习模型功能。例如，如果视觉检测系统使用大型数据集，则最佳选择可能是云服务。

• 2）硬件

根据行业和自动化流程，集成视觉检测系统所需的设备可能包括：

摄像头。关键的摄像头选项是实时视频流。一些示例包括 IP Camera 和 CCTV。

网关。专用硬件设备和软件程序都适用于视觉检测系统。

CPU/GPU。如果需要实时结果，GPU 将是比 CPU 更好的选择，因为前者在基于图像的深度学习模型方面具有更快的处理速度。可以优化 CPU 来运行视觉检查模型，但不能优化用于训练。

光度计（可选）。根据视觉检测系统环境的照明条件，可能需要使用光度计。

色度计（可选）。在检测光源的颜色和亮度时，成像色度计始终具有高空间分辨率，可进行详细的AI视觉检测。

热像仪（可选）。在蒸汽/水管道和设施的自动检查的情况下，拥有热像仪数据是个好主意。热像仪数据为热/蒸汽/水泄漏检测提供了有价值的信息。热像仪数据也可用于隔热检查。

无人机（可选）。如今，很难想象在没有无人机的情况下对难以到达的区域进行自动检查：建筑物内部结构、天然气管道、油轮目视检查、火箭/航天飞机检查。无人机可能配备高分辨率相机，可以进行实时缺陷检测。

深度学习模型在部署后可以改进。深度学习方法可以通过新数据的迭代收集和模型重新训练来提高神经网络的准确性。结果是一个“更智能”的视觉检测模型，它通过增加操作期间的数据量来学习。

AI视觉检测的应用示例

航空公司

据波音公司称，目前价值 2.6 万亿美元的航空航天服务市场中有 70% 用于质量和维护。 20此前，他们推出了一种新的基于无人机的自动化飞机检查系统，可加速和促进AI视觉检测。 这一发展减少了飞机停机时间，同时提高了检查报告的质量。

汽车

汽车制造商可以利用AI视觉检测技术分析和更准确地识别零部件等质量问题，并在它们发生事故之前解决它们。

计算机设备制造

对更小的电路板设计的需求正在增长。富士通实验室一直带头为电子行业开发支持人工智能的识别系统。他们称在质量、成本和交付方面取得了重大进展。

管道检查

众所周知，天然气和石油管道的长度很大。 最新数据显示，全球 120 个国家/地区的管道总长度略低于 2,175,000 英里（3,500,000 公里）。 天然气和石油泄漏可能导致化学污染、爆炸和火灾，对自然造成巨大危害。借助计算机视觉技术的卫星和无人机检查是早期检测和定位油气泄漏的好工具。

交通

AI视觉技术通过对视频/图像资源进行深度学习分析，形成抽象、归纳、分析的结果，对人、车、物、行为等进行智能判断，例如，在交通路口的摄像头可以提取车牌，车型、驾驶员是否系了安全带、违停检测等。

安防

TSINGSEE青犀视频基于多年视频领域的技术经验积累，在人工智能技术+视频领域，也不断研发，将AI检测、智能识别技术融合到各个视频应用场景中，如：安防监控、视频中的人脸检测、人流量统计、危险行为（攀高、摔倒、推搡等）检测识别等。

典型的示例如EasyCVR视频融合云服务，具有AI人脸识别、车牌识别、语音对讲、云台控制、声光告警、监控视频分析与数据汇总的能力。