是否有任何包含支持定义按需查询的 UI 的可扩展数据流框架？ [关闭]

Posted 2023-04-18

【中文标题】是否有任何包含支持定义按需查询的 UI 的可扩展数据流框架？ [关闭]

【英文标题】：Is there any scalable data streaming framework that includes a UI that supports defining on-demand queries? [closed]

【发布时间】：2021-07-19 02:55:27

【问题描述】：

假设我正在摄取实时数据，并希望实时查看数据的最终用户能够以不同方式对信息进行分组，并快速获得代表新分组的视图。

因此，例如，如果数据是电子商务网站上的所有交易，并且用户正在查看交易的实时网格（例如，在类似 Kibana 的网站中，通过 websocket 传递实时数据）并想要按国家分组并按交易的名义价格查看前 10 个国家，用户界面会将该命令发送到服务器，服务器将进行所有必要的计算，以向用户提供最高国家的汇总名义价格，并不断在处理新数据时更新该流。

我知道有一些框架（例如 Flink、Storm、Kafka Streams）可以让您在代码中定义此类计算，但是是否有任何框架可以让用户选择不同的聚合并实时设置它们？

【参考方案1】：

我会回答 Flink：

Apache Zeppelin has a good integration with Flink。它允许用户设置动态 Flink 查询。这些是按需的（用户定义的），当然你需要一个 Flink 集群来附加。这些也会刷新 Zeppelin UI。

我在推测，但我认为后端会收到 Flink 的更新，并且 UI 会以固定的时间间隔获取新数据。虽然这不是被动完成的，但我相信这是目前可以做到的最好的。

这是一篇关于它的 Flink 博客文章：https://flink.apache.org/news/2020/06/15/flink-on-zeppelin-part1.html

【参考方案2】：

Flink 可以开箱即用地做到这一点，使用 Flink SQL 和 SQL 客户端。您可以以交互方式创建动态、持续更新的查询，将其结果流式传输到 Elasticsearch（例如）。

This talk 是一个很好的介绍，展示了可能性。它包括一堆示例查询，并在 mysql 之上使用 Grafana 进行仪表板。如果您愿意，也可以对 Elasticsearch/Kibana 执行相同的操作。