面向大数据物联网中间件是什么样的存在？

Posted 2021-04-02 工业互联网时代

信息时代的到来，加快了物联网与各行各业融合的速度，对其进行研究成为大势所趋。以大数据物联网为切入点，围绕中间件技术展开了系统且深入的探究，首先介绍了中间件平台设计方案，其次就感知层耦合设计进行了讨论，最后提出了应用层所适用耦合方案，供相关人员参考。

文/ 黄俊杰

近几年，获得质变发展的IoT产品，在诸多领域均得到了广泛运用，人们对物联网所提出需求自然有别于过去。该技术强调先采集感知数据再同云端平台耦合，随着相关产品使用量的增加，感知数据量持续增多，原有技术所能发挥作用有限，这便是大数据物联网适用中间件技术被提出的背景。

1 中间件平台设计方案

1.1 架构模型

物联网中间件是连接云端和智能硬件的桥梁，而智能硬件数量的增加，使引入感知数据变得更加繁杂，如何高效处理数据，自然成为当下亟待解决的问题。既有理想承载能力，又可对大数据进行训练的MDM- IoT，逐渐走入人们视野。若依架构为切入点，该服务器可被分为云计算服务器、大数据服务器，其集群架构如图1所示：

1.2 云计算服务器

要想以算法服务器为依托，对大数据进行可靠且高效的训练，关键是要引入算法镜像技术，这样做既能够降低更新算法的难度，还可使算法安全性得到保障，在减少系统损耗的基础上，突出强调部署的便捷性与简单性。

早期虚拟方式的代表为XEN和KVM，上述方式为后续方式的诞生奠定了基础。当然，上述方式也有较为明显的不足存在，主要是用户对环境十分依赖，应用程序性能与任务，通常无法达到预期。在此背景下，容器技术应运而生，该技术的特点是摆脱环境依赖和整套系统，用户可以随意对内容进行增加或删除，系统功能不会被影响。虽然LXC和KVM均为虚拟技术，但前者可使内核得到充分利用，属于典型的内核轻量设计，系统架构如图2所示。本文所讨论服务器便采用该管理模式，利用镜像仓库对算法镜像进行管理，并基于Git仓库对配置与部署文件加以管理。其优势主要体现在以下方面：首先是极其轻量，算法镜像仅有必要Lib 文件与Bin 文件；其次是秒级部署，对不同大小算法镜像容器进行部署的时间，其差别往往仅有数秒；最后是移植简便，在构建工作结束后，有关人员可将其部署在任何区域，真正做到了简单并且高效[1]。

1.3 大数据服务器

要想使该系统即便身处大数据环境，仍具备持续且高效运行的条件，关键是以可靠性与稳定性为切入点，对接收和存储信息的部分进行设计。

1.3.1缓存设计

信道数据以监控数据、心跳数据和感知数据为主，若以优先级别高低为依据，上述数据的排列顺序应当是：①心跳数据；②监控数据；③感知数据，借助异步队列分级缓存上述数据，作为解析封装数据，供算法服务器使用。这里要明确一点，算法服务器面临数据为集群数据，大数据服务器服务对象是物联网设备。而分区分级缓存所强调内容，主要是分级对应数据分级；分区依据为IoT对应服务器，任意服务器数据均以管辖终端为主，尚未达到集群数据同步的高度。

1.3.2长连接设计

服务通信以长连接和短连接为主，前者强调保持所建立连接，为后续信息提供信道，对信息进行传输的效率自然可以得到提升。后者则需要对信道连接进行数次建立与关闭，不仅耗费大量时间，还存在性能被严重损耗的可能。在强调大流量和高并发的当下，借助后端负载均衡与长连接方案，可使大数据得到高效传输及处理。

2 感知层耦合设计

在智能硬件耦合方面，MDM- IoT对无线、串口和网络协议进行了融合，此外，考虑到保证数据完整的重要性，有关人员还对不丢包协议进行了研发，通过及时处理并补发丢包数据的方式，确保大数据能够获得高效且稳定的处理。

2.1 心跳方案

C/S将智能硬件视为Client端，其职责是对缓冲区是否有感知数据存在进行持续检查，如果发现有感知数据存在，要及时将其发送并清空。若发送心跳数据后，中间件没有传回相应的数据，则要对数据进行再次发送，在发送三次后，仍未收到相应数据，表明传输网络存在故障，此时，智能终端将对中间件进行重新连接并且建立通信。这里要明确一点，心跳包频率往往由双方以通信质量需要达到的要求为依据进行确定，中间件的作用是对设计数据模型的具体要求进行提供。实际应用时，有关人员应以物联网设备所感知数据的质量及大小为参考，通过优化传输格式等细节的方式，使心跳数据得到同步，为监控展示等环节的顺利开展提供便利。

2.2 数据感知方案

对感知数据加以提供的主体是智能硬件，数据经由中间件解析，对是否存在丢包情况进行判断，随后，借助异步队列完成缓存原始数据/上传数据/ 解析数据的操作，在分类推送的基础上，将感知数据所提取参数传递至服务器内部，用来对大数据进行训练，通过将Web 端和心跳数据进行长连接的方式，为设备通信有效性提供保障[2]。此外，有监控必要性的数据，除了众所周知的设备id，还有设备地点、PM2.5 和环境温度等，上述数据均由服务器将结果向Web端进行推送并展示。

本文所讨论设计方案，其特点主要体现如下：

首先，可对数据完整性进行感知。大数据服务器往往会先解析智能硬件所传递数据，再将提取所得数据批次号传递给智能硬件，只有收到服务器发回信号，智能硬件才能对其他数据进行传递。若响应信号与之前发送信号有大致相同的批次号，则表明数据完整。

其次，可对数据稳定性进行感知。在数据被接收后，中间件将针对原始数据/ 解析数据/ 封装数据开启相应队列，由队列负责处理缓存等操作，确保旧数据能够定期被删除。如果网络存在故障，将出现封装数据无法上传的情况，等到网络恢复正常，该系统将及时扫描上传失败数据并进行补发。上文所提及环节的开展形式均为多进程，这样设计的目的是确保数据能够被高效获取并得到充分利用，避免资源出现不必要浪费。

最后，可对数据高效性进行感知。通信双方对长连接加以应用的初衷，主要是降低数据交互难度。基于心跳设计为长连接活跃性进行保持，一般情况下，KeepAlive 所设置时间均为7200s，也就是说，如果在7200s内没有数据被传输，则要利用探针对连接是否可用加以确定，该测试的默认次数为10 次，间隔为75s，有关人员可结合实际情况进行调整。本文所讨论中间件，便以上述机制为依托，在传送心跳数据的同时获取相应监控数据，达到对设备状态进行实时监控的最终目的。

3 应用层耦合设计

在对物联网设备所采集数据进行解析后，MDM- IoT便进入等待服务器消费的状态，将Web 端和心跳数据相连接的基础上，借助算法服务器对特征值参数加以分析，并向Web 端传送分析结果，确保Web端能够将最终数据进行直接展示。

3.1 追踪服务框架

常规追踪技术的代表是链路测试技术，该技术强调以路由网络链的测试为依托，对攻击源头加以确定，在实际应用时有关人员发现，要想使该技术发挥出应有作用，通常需要满足大量要求，不仅要反复测试，追踪花费的时间也相对较长，这也决定其并不适合被用来对固件进行升级[3]。

而MDM- IoT创造性的引入了数据包作为记录载体，强调基于技术包对ip进行追踪并记录，该技术又被称作SPIE。本文所提及反向追踪算法，便对该技术进行了利用，其原理如下：服务器ip 会在稳定运行的同时固定，为智能终端的连接提供支持，除特殊情况外，智能终端及相应服务器均处于相同网段内，由智能终端对网络进行分配，明确服务器所处层级，如果服务器位于云端，只需对云端ip 加以提供即可。若服务器位于其他层级，则要视情况对相应信息进行提供。

3.2 升级服务框架

研究表明，传统端现有物联网设备的内部程序，多为对执行文件进行烧录，如果应用程序有更新需求，通常需要前往现场重新烧录，人力资源被浪费的情况无法避免。有关人员出于对上述问题加以解决的考虑，基于MDM- IoT对远程升级服务进行了集成，用户只要将固件上传，便能够通过远程控制的方式，使固件得到升级。在此过程中，反向追踪也发挥了重要作用，该算法主要被用来查找设备并下发更新指令，由系统对应用进行自主下载并升级，升级完成后，设备将自动上线。该过程所需通信协议的帧格式如下：

上文对轻量级的通用中间件平台进行了设计，该平台创造性地将应用层和智能硬件感知相融合，通过云计算的方式，赋予智能硬件全新使命。现阶段，基于该技术所设计IoT产品，在北京等地得到了大力推广与运用，相关产品凭借良好的伸缩性和稳定性，获得了用户的一致认可，由此可见，端云一体化有极大的发展空间，对其进行优化仍然是未来研究的重点。

参考文献：

[1]金小艳,王忠春,范国林,等.基于轻量化安全协议的物联网安全网关技术实现[J].通信技术,2020(2):469-473.

[2]刘峰,王昭鹏,郭放达,等.基于消息中间件及MongoDB 的物联网应用服务平台[J].计算机系统应用,2019(5):90-94.

[3]拜亚萌.物联网中间件技术在移动电子商务平台中的应用研究[J].焦作大学学报,2019(1):48-50.

- END -

往期 精彩推荐

点赞是一种态度，在看是一种认可