如何选择合适的边缘计算机——将 AI 转移到 IIoT 边缘？

Posted 2023-01-06 边缘计算社区

在物联网 (IoT) 基础设施上使用人工智能 (AI) 的软件应用，被称为“AIoT”。构建 AIoT 应用程序的 3 个阶段包括 ：数据收集、训练和推理。图片来源 ：Moxa

作者 | Ethan Chen

“

工业物联网(IIoT)和边缘计算中的人工智能(AI)应用，为现场的实时决策和更智能的生产运营带来了机遇。

”

工业物联网（IIoT）应用正在产生比以往任何时候都多的数据。在很多工业应用中，尤其是位于偏远地区的高度分散的系统中，定期向中央服务器发送大量原始数据可能无法实现。为了减少延迟、降低数据通信和存储成本，同时提高网络可用性，企业正在将人工智能 (AI) 和机器学习 (ML) 转移到边缘，以便在现场进行实时决策和行动。 

这些在物联网基础设施上部署 AI 功能的应用，被称为人工智能物联网 (AIoT)。尽管 AI 模型仍在云端进行训练，但可以在边缘计算机上部署经过训练的 AI 模型，从而在现场实现数据收集和推理。那么，如何为工业 AIoT 应用选择合适的边缘计算机呢？

大多数 IIoT 数据未经分析

连接到互联网的工业设备近年来增长迅速，预计到 2025 年将达到 416 亿个终端。更令人难以置信的是每台设备产生的惊人数据量。手动分析制造装配线上传感器生成的所有信息，可能需要花费毕生的精力。在《哈佛商业评论》的一篇关于数据策略的文章中指出，在制定决策的过程中，组织的结构化数据往往只有不到一半得到有效的利用，不到 1% 的非结构化数据被分析或应用。

IP 摄像机每天生成的视频数据将近 1.6 EB，其中只有 10% 得到分析。尽管有能力收集更多信息，但这些数字表明，数据分析存在惊人的差距。靠人力是无法分析产生的所有数据的，这就是企业尝试将 AI 和 ML 融入到 IIoT 应用的原因。

设想一下，仅靠人工目视，在制造装配线上，每周 5 天每天 8 小时手动检查高尔夫球上微小缺陷的应用场景。即使有一大批检查人员，每个人仍然会容易疲劳，犯人因错误。同样，人工目视检查铁路轨道紧固件，只能在列车停运后的半夜进行，不仅耗 时，而且做起来很困难。人工检查高压电力线和变电站设备，还会使工作人员面临额外的风险。

 将 AI 与 IIoT 相结合 

在前面讨论的每个工业应用 中，“AIoT”都可以提供降低劳动力成本、减少人为错误和优化预防性维护的能力。AIoT 是指在物联网 (IoT) 应用中采用人工智能技术，以提高运营效率、人机交互以及数据分析和管理。那么我们所说的人工智能到底是什么，它将如何融入工业物联网？

AI 是研究如何构建智能程序和机器，来解决传统上由人解决的问题的一般科学领域。AI 包括 ML，ML是 AI 的一个特定子集，它使系统能够通过经验自主学习和改进，而无需进行编程，例如通过各种算法和神经网络。另一个相关术语是“深度学习”（DL）， 它是 ML 的一个子集，其中多层神经网络从大量数据中学习。

由于 AI 是一门覆盖面非常广的学科，本文主要讨论的重点是计算机视觉或 AI 驱动的视频分析。AI 的其它子领域，通常与 ML 结合使用，实现工业应用中的分类和识别。 

从远程监控和预防性维护中获取的的数据，到智能交通系统中控制交通信号的车辆识别，到农业无人机和户外巡逻机器人，再到工业产品的微小缺陷自动光学检测等，计算机视觉和视频分析正在为工业应用释放更大的生产力和效率。

 将 AI 转移到 IIoT 边缘 

IIoT 系统的激增正在产生大量的数据。例如，在大型炼油厂内，大量传感器和设备每天都会生成 1TB 的原始数据。将所有这些原始数据，发送回公共云或私有服务器进行存储或处理，需要相当大的带宽、可用性和功耗。在很多工业应用中，尤其是位于偏远地区的高度分散的系统中，不间断向中央服务器发送大量数据是不可能的。

即使企业拥有带宽和足够的基础设施，部署和维护成本也非常高，数据传输和分析还存在大量延迟的情况。关键任务的工业应用必须能够尽快分析原始数据。

为了减少延迟、降低数据通信和存储成本，并提高网络可用性，IIoT 应用正将 AI 和 ML 功能部署到网络边缘，以直接在现场启用更强大的预处理功能。更具体地说，边缘计算处理能力的进步，使 IIoT 应用能利用边远位置的 AI 决策能力。 

通过将现场设备连接到边缘计算机，该计算机配置了强大的本地处理器和人工智能，这样就无需将所有数据发送到云端进行分析。事实上，预计到 2025 年，在远端和近端站点创建和处理的数据将从 10% 增加到 75%，预计到 2024 年，整个边缘 AI 硬件市场将实现 20.64% 的复合年增长率（CAGR）。

 为工业 AIoT 选择合适的边缘计算机 

在将人工智能引入工业物联网应用时，有几个关键问题需要考虑。尽管与训练 AI 模型有关的 大部分工作仍然在云中进行，但最终企业还是需要在现场部署经过训练的推理模型。AIoT 边缘计算本质上是在现场进行 AI 推理，而不是将原始数据发送到云端进行处理和分析。为了有效运行 AI 模型和算法，工业 AIoT 应用需要可靠的边缘硬件平台。要为工业 AIoT 应用选择合适的边缘计算机时，请考虑以下因素 ：

1. 人工智能不同实施阶段的处理要求 ；

2. 边缘计算水平 ；

3. 开发工具 ；

4. 环境问题。

“对于关键任务的工业应用，必须能够尽快分析原始数据。”

 构建 AIoT 应用的 3 个阶段 

一般来说，AIoT 计算的处理要求与应用需要的计算能力以及是否需要中央处理单元 (CPU) 或加速器有关。由于在构建 AI 边缘计算应用的 3 个阶段中，每个阶段都使用不同的算法来执行不同的任务，因此每个阶段都有自己的处理要求。

1

数据收集

这一阶段的目标是获取大量信息来训练 AI 模型。未经处理的原始数据本身帮助不大，因为信息可能包含重复、错误和异常值。在初始阶段对收集的数据进行预处理以识别模式、异常值和缺失的信息，允许用户纠正错误和偏差。根据收集数据的复杂程度，用于数据收集的计算平台通常基于 Arm Cortex 或英特尔 Atom/Core 处理器。一般来说，输入 / 输出 (I/O) 和 CPU 的规格，而不是图形处理单元 (GPU)，对于执行数据收集任务更为重要。

2

训练

AI 模型需要在高级神经网络和资源匮乏的 ML 或 DL 算法上进行训练，这些算法需要更强大的处理能力，例如强大的 GPU，以支持并行计算来分析所收集的、经预处理的大量训练数据。训练 AI 模型涉及选择 ML 模型，并根据所收集、经预处理的数据对其进行训练。在此过程中，需要评估和调整参数以确保准确性。有很多训练模型和工具可供选择，包括现成的 DL 设计框架，例如 PyTorch、Tensor Flow 和 Caffe。训练通常在指定的 AI 训练机或云计算服务上而不是在现场进行，例如亚马逊的 AWS Deep Learning  AMIs、谷歌 Cloud AI 或微软 Azure Machine  Learning 等。

3

推理

最后阶段涉及在边缘计算机上部署经过训练的 AI 模型，以便它可以根据新收集和预处理的数据快速有效地进行推理和预测。由于推理阶段通常比训练消耗更少的计算资源，因此 CPU 或轻量级加速器就足以满足 AIoT 应用的需求。尽管如此，仍需要一个转换工具，来将训练好的模型转换为可以在专用边缘处理器 / 加速器上运行的模型，例如英特尔 Open VINO 或 NVIDIA CUDA。推理还包括几个不同的边缘计算水平和要求。

 边缘计算水平和架构 

尽管 AI 训练仍在云端或本地服务器上进行，但数据收集和推理仍然需要在网络边缘进行。此外，由于训练有素的 AI 模型应完成的目标（例如根据新收集的现场数据做出决策或执行操作）的大部分工作是在推理中实现的，因此需要根据以下边缘计算的不同水平来选择合适的处理器。

低水平的边缘计算 ：在边缘和云之间传输数据既昂贵又耗时，并导致延迟。采用低水平的边缘计算，只需将少量有用数据发送到云端，从而减少延迟时间、带宽、数据传输费用、功耗和硬件成本。可以在 IIoT 设备上使用没有加速器的、基于 Arm 的平台来收集和分析数据，以便快速做出推断或决策。

中等水平的边缘计算 ：此级别的推理可以以足够的帧速率，处理用于计算机视觉或视频分析的各种 IP 摄像机流。中等水平的边缘计算，包括基于 AI 模型和性能要求的复杂数据，例如安装在办公室入口的大型公共监控网络的面部识别应用程序。大多数工业边 缘计算应用，还需要考虑有限的功率预算或无风扇设计来散热。在这个级别上，可以使用高性能 CPU、入门级 GPU 或视觉处理单元 (VPU)。例如，英特尔 Core i7 系列 CPU 通过 OpenVINO 工具包和基于软件的 AI/ML 加速器提供了一个高效的计算机视觉解决方案，可以在边缘执行推理任务。

高水平的边缘计算 ：该层级的边缘计算，可以为使用更复杂模式识别的 AI 专家系统处理大量数据负载，例如公共安全系统中自动视频监控的行为分析，以检测安全事件或潜在威胁事件。高水平的边缘计算推理通常使用加速器，包括高端 GPU、VPU、谷歌张量处理单元 (TPU) 或现场可编程门阵列 (FPGA)，它们消耗更多功率（200W 或更多）并产生过多热量。由于必要的功耗和产生的热量可能会超出网络远端（例如在行驶中的火车上）的限制，因此高水平边缘计算系统通常部署在近边缘站点（例如火车站）以执行任务。 

有种工具可用于各种硬件平台，以帮助加快应用程序开发过程或提高 AI 算法和 ML 的整体性能。

“选择最适合的边缘计算机，来执行现场工业 AI 推理任务。”

 深度学习框架 

考虑使用 DL 框架，它是一种接口、库或工具，可让用户更轻松、更快速地构建深度学习模型，而无需深入了解底层算法的细节。深度学习框架提供了一种清晰简洁的方法，使用一组预先构建和优化的组件来定义模型。最受欢迎的 3 个工具包括 ：

PyTorch ：主要由 Facebook 的人工智能研究实验室开发，PyTorch 是一个基于 Torch 库的开源机器学习库。它用于计算机视觉和自然语言处理等应用，是在升级版 BSD 许可下发布的免费开源软件。 

TensorFlow ：使用 TensorFlow 用户友好的基于 Keras 的 API, 实现快速原型设计、研究和生产，这些 API 用于定义和训练神经网络。 

Caffe ：提供了一个功能强大的架构，允许用户在没有硬编码的情况下 , 定义和配置模型和优化。设置单个标志以在 GPU 机器上训练模型，然后部署到商品集群或移动设备上。

 基于硬件的加速器工具包 

硬件供应商提供的 AI 加速器工具包，专门用于在其平台上加速 AI 应用，例如 ML 和计算机视觉。 

英特尔 Open VINO ：英特尔的开放视觉推理和神经网络优化 (Open VINO) 工具包，旨在帮助开发人员在英特尔平台上构建强大的计算机视觉应用。Open VINO 还支持对 DL 模型进行更快的推理。 

NVIDIA CUDA ：CUDA 工具包可为嵌入式系统、数据中心、云平台和基于 NVIDIA 统 一计算设备架构的超级计算机上的 GPU 加速应用，提供高性能并行计算。

 实施应用的位置和环境考虑 

最后需要考虑的，但并不意味着它最不重要，是实施应用的物理位置。部署在户外或恶劣环境中的工业应用（如智慧城市、石油和天然气、采矿、电力或户外巡逻机器人应用），应具有较宽的工作温度范围和适当的散热机制，以确保在酷热或严寒天气环境下的可靠性。某些应用还需要行业特定的认证或批准，例如无风扇设计、防爆结构和抗振性。由于很多实际应用部署在空间有限的机柜中并受到尺寸限制，因此首选小型边缘计算机。

远程站点中高度分散的的工业应用，也可能需要通过可靠的蜂窝或 Wi-Fi 连接进行通信。例如，具有集成蜂窝 LTE 连接的工业边缘计算机，消除了对额外蜂窝网关的需求，并节省了宝贵的机柜空间和部署成本。另一 个需要考虑的因素是可能需要支持双 SIM 卡 的冗余无线连接，以确保在一个蜂窝网络信 号弱或下降时仍可以传输数据。 

在边缘端启用 AI 功能，使企业能够提高工业应用的运营效率，降低风险和成本。为工业 AIoT 应用选择合适的计算平台，应认真考量数据收集、训练和推理三个实施阶段的具体处理要求，并根据不同的边缘计算水平（低、中或高），选择最合适的处理器类型。通过仔细评估 AIoT 应用在每个阶段的具体要求，选择最适合的边缘计算机来执行现场工业 AI 推理任务。

关键概念： 

■ 通过将 AI 引入工业物联网的应用，可支持更智能的工业决策。 

■ 选择合适的边缘计算机以支持 AI 和机器学习。

思考一下： 

如何使用 AI 支持的边缘计算来进行更智能的实时决策？

- END -

全球边缘计算大会·上海站讲师演讲材料已出，欢迎戳下方链接查看现场精彩回放！