[讨论] 平台建设，我们从架构中去掉kafka？
Posted lsjwq
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了[讨论] 平台建设，我们从架构中去掉kafka？相关的知识，希望对你有一定的参考价值。
目 录
1. 概述... 2
2. 原有结构（带kafka）... 2
3. 改造后的结构（去掉kafka）... 3
4. 对比... 4
1. 概述
我们主要面向钢铁行业工业互联网公有云和私有去建设，偏向PAAS层和SAAS层应用，框架是支撑这个体系建设。现在我们的公有云的IAAS资源层使用的是第三方云平台，现在有50个左右的站点，1个站点就是一个生产单位，1个站点每天传输到公有云平台的数据大概为300-500MB，1个站点的数据包括：一级PLC及传感器的数据、原燃料的化验数据、模型计算结果数据、产量数据及人工填报的数据，我们大致把这些数据分为两大类：设备数据和业务数据，暂时不包括：经营数据、物流数据、资产数据等。数据的实时性，基本上是现场产生了数据，会秒级检测，立即上传。数据的完整性，设备数据一般用于监测，可以有丢失的情况，业务数据一般用于报表、统计和分析，要求完整性和一致性，不能多数据也不能少数据。
上述就是我们的公有云平台的大致情况，下面把我们的原来的结构和改造完成的结构和大家分享一下，大家可以充分讨论。
2. 原有结构（带kafka）
接收到全国站点的数据后：
（1） 把本次传输的数据写入到redis缓存中。
（2） 把本次传输的数据编号存储到mysql数据库，形成待处理的任务。
（3） 把本次传输的数据编号发送给kafka消息列队，负载平衡通知处理端处理本次传输的数据。
（4） 处理端接收到kafka的本次传输的数据编号，从redis取出来数据，进行入库操作，关系数据、文件数据、视频数据、图片数据等。
（5） 本次传输的数据处理完成。
以上描述是接收数据后的整体流程，结构示意，如下图：
3. 改造后的结构（去掉kafka）
接收到全国站点的数据后：
（1）把本次传输的数据写入到redis缓存中。
（2）把本次传输的数据编号存储到mysql数据库，同时指定哪个处理端负责处理数据，形成待处理的任务。
（3）处理端定周期从mysql取得自己负责处理的任务，再从redis取出来数据，进行入库操作，关系数据、文件数据、视频数据、图片数据等。
（4）如果处理端服务异常挂掉，那么接收数据端会重新分配该处理端无法处理的数据处理任务。
（5）本次传输的数据处理完成
以上描述是改造后，接收数据后的整体流程，结构示意，如下图：
4. 对比
（1） 原有结构，实时的效率更高，kafka直接负载分配给处理端。
改造后结构，处理端需要定周期从mysql取得自己的处理任务，有周期耗时时间。
（2） 原有结构，如果一个处理端处理数据事务超时，kafka重新分配分区，会影响所有处理端，造成待处理任务堆积。
改造后结构，如果一个处理端挂掉了，重新分配的时间比较快，并且不影响其他处理端。
（3） 原有结构，处理环节比较多。
改造后结构，少了kafka的环节。
（4）其他网友补充……。
文章：
《.NET Core开发的iNeuOS工业互联网平台，发布 iNeuDA 数据分析展示组件，快捷开发图形报表和数据大屏》
《[视频演示].NET Core开发的iNeuOS物联网平台，实现从设备&PLC、云平台、移动APP数据链路闭环 》
《.NET Core开发的iNeuOS物联网平台部署树霉派（raspbian），从网关到云端整体解决方案》
《.NET Core开发的iNeuOS物联网平台部署在Ubuntu操作系统，无缝跨平台》
《iNeuOS 物联网云操作系统2.0发布，集成设备容器、视图建模、机器学习三大模块 》
物联网&大数据技术 QQ群：54256083
物联网&大数据合作 QQ群：727664080
联系QQ：504547114
合作微信：wxzz0151
以上是关于[讨论] 平台建设，我们从架构中去掉kafka？的主要内容，如果未能解决你的问题，请参考以下文章