使用 Google Bigtable 进行实时跟踪

Posted 2023-03-24

【中文标题】使用 Google Bigtable 进行实时跟踪

【英文标题】：Live Tacking with Google Bigtable

【发布时间】：2018-01-03 12:16:54

【问题描述】：

我使用 google big table 的用例是我必须在连接到服务器的所有设备上进行实时跟踪（根节点上从 A 点到 B 点的实时总线并跟踪它们）。每 5 秒，每个设备都会发出一些数据，我必须将所有数据存储在谷歌大表中，并从谷歌大表中获取数据，以每 5 秒显示一次实时流量。这是 google big table 的一个很好的用例吗？

【问题讨论】：

服务器连接了多少台设备？几乎任何数据库都可以完成这项工作，不需要大表！

数量可以随时间增加。目前约30,000。如果你能推荐一些其他的数据库。

我建议研究一下 InfluxDB。

感谢您的建议。

【参考方案1】：

Cloud Bigtable 非常擅长处理时间序列数据，就像您一样。每秒 5 个请求的 30K 机器意味着每秒写入 30K / 5S = 6K 行。最小的 3 个节点的 Cloud Bigtable 集群每秒可以处理 30K 行。

集群可以随着您预计的写入增长以及您从 Cloud Bigtable 中读取数据所做的工作而扩展。

您可以使用自己的时间序列实现（有关架构设计的一些想法，您可以查看here），也可以使用OpenTSDB with Cloud Bigtable。

Cost 是一个考虑因素。每个节点的成本为 65¢/hr（您可以计算一个 3 节点集群的成本）。