Kafka +深度学习+ MQTT搭建可扩展的物联网平台附源码
Posted About云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Kafka +深度学习+ MQTT搭建可扩展的物联网平台附源码相关的知识，希望对你有一定的参考价值。
问题导读
1.本项目包含哪些源码？
2.本文使用了哪些框架？
3.KSQL UDF如何实现？
文中链接查看，可点击：阅读原文
物联网+大数据+机器学习将会是以后的趋势，这里介绍一篇这方面的文章包含源码。
混合机器学习基础架构构建了一个场景，利用Apache Kafka作为可扩展的中枢神经系统。 公共云用于极大规模地训练分析模型（例如，通过Google ML Engine在Google Cloud Platform（GCP）上使用TensorFlow和TPU，预测（即模型推断）在本地Kafka基础设施的执行（ 例如，利用Kafka Streams或KSQL进行流分析）。
本文重点介绍内部部署。 创建了一个带有KSQL UDF的Github项目，用于传感器分析。 它利用KSQL的新API功能，使用Java轻松构建UDF / UDAF函数，对传入事件进行连续流处理。
使用案例：Connected Cars - 使用深度学习的实时流分析
从连接设备（本例中的汽车传感器）连续处理数百万个事件：
为此构建了不同的分析模型。 他们在公共云上接受TensorFlow，H2O和Google ML Engine的训练。 模型创建不是此示例的重点。 最终模型已经可以投入生产，可以部署用于实时预测。
模型服务可以通过模型server 完成，也可以本地嵌入到流处理应用程序中。 参阅RPC与流处理的权衡，以获得模型部署和....
演示：使用MQTT，Kafka和KSQL在Edge进行模型推理
Github项目：深度学习+KSQL UDF 用于流式异常检测MQTT物联网传感器数据
（下载源码：
该项目的重点是通过MQTT将数据提取到Kafka并通过KSQL处理数据：
Confluent MQTT Proxy的一大优势是无需MQTT Broker即可实现物联网方案的简单性。 可以通过MQTT代理将消息直接从MQTT设备转发到Kafka。 这显着降低了工作量和成本。 如果你“只是”想要在Kafka和MQTT设备之间进行通信，这是一个完美的解决方案。
如果你想看到另一部分（与Elasticsearch / Grafana等接收器应用程序集成），请查看Github项目“KSQL for streaming IoT data”。 这实现了通过Kafka Connect和Elastic连接器与ElasticSearch和Grafana的集成。（源码下载：链接: https://pan.baidu.com/s/1FCFgAoF9v1ihp9fyqHeKag 密码: 67sz）
KSQL UDF - 源代码
开发UDF非常容易。 只需在UDF类中的一个Java方法中实现该函数：
[Bash shell] 纯文本查看 复制代码
?
|
1
以上是关于Kafka +深度学习+ MQTT搭建可扩展的物联网平台附源码的主要内容，如果未能解决你的问题，请参考以下文章 |