是否可以将 AWS IoT 分析数据存储数据实时提取到数据集中？

Posted 2023-03-08

【中文标题】是否可以将 AWS IoT 分析数据存储数据实时提取到数据集中？

【英文标题】：Is it possible to pull AWS IoT analytics datastore data into the dataset in real time?

【发布时间】：2021-02-12 17:00:45

【问题描述】：

我正在使用 AWS QuickSight 来显示图表。数据源是 AWS IoT 分析数据集。

是否可以将 AWS IoT 分析数据实时存储到数据集中？我知道我们可以手动执行run now，这将有我们按下run now 时的数据。有什么方法可以自动将实时数据放入数据集中？

目前，自动将数据从数据存储区拉入数据集的最低频率为 1 分钟。这意味着数据集中的数据（以及因此的 QuickSight 图表）将始终过时 1 分钟。

【参考方案1】：

安排查询定期运行以刷新数据集是使用 AWS IoT Analytics 数据集时唯一的自动化选项。 The highest frequency is 1 minute（接近实时）对于大多数支持 IoT 的解决方案来说非常合适。

另一个值得研究的替代解决方案是使用 AWS IoT Core 并通过 IoT Core 规则将消息从主题流转发到 Lambda，然后将记录放在 Amazon Kinesis Data Firehose 传输流上，最后使用 Amazon QuickSight 可视化存储在 S3 存储桶中的数据。 This link 是一个关于如何完成它的教程。

【讨论】：

AWS DynamoDb 或 AWS Timestream db 代替 S3 存储桶怎么样？

这真的取决于你的用例。如您所知，S3 不是数据库，它适合存储静态数据集，同时提供显着的成本优势。如果您的业务问题对时间敏感并且依赖于流数据，我建议您考虑使用时间序列数据库。在这种情况下，您还应该质疑 Amazon QuickSight 对于表示层是否足够好。希望这会有所帮助。

对于物联网，表示层还有哪些其他选择？

另外，您提到了“通过 IoT Core 规则从主题流到 Lambda 的消息，然后将记录放在 Amazon Kinesis Data Firehose 传输流上” - 为什么不直接到“Kinesis Data”而不是 Lambda 操作Firehose 的行动？

对于表示层，我建议你看看 Grafana。显然，它不是托管的 AWS 服务，但仍然可以在 AWS 上轻松部署和扩展。 Lambda 为您提供了额外的灵活性来处理您的有效负载、添加一些业务逻辑以及路由到不同的目的地。同样，这实际上取决于您的业务问题，对此我没有太多详细信息。