查询大数据的最佳（NoSQL）数据库

Posted 2023-04-18

【中文标题】查询大数据的最佳（NoSQL）数据库

【英文标题】：Best (NoSQL) database to query big data

【发布时间】：2013-03-19 13:28:50

【问题描述】：

我们正在开发一个应用程序，它使用一个非常大的数据库。它应该支持的基本操作是： - 查找给定地图 ID 的所有多边形 ID - 对于每个多边形，获取坐标来绘制它（4 个坐标）

所以，一切都是为了优化阅读。没有写作，没有一致性问题。当然，一些额外的事情很重要，但这是关键。多边形的元组数量非常大，在数亿（几 TB）的范围内。

您能为此推荐最好的数据库吗？我们目前最喜欢的是 Sharded mysql、MongoDB 和 CouchBase。

【问题讨论】：

“大型数据库”是非常主观的。你能给我们一个可衡量的概念吗？ Gbs/TBs 大小？您希望进行什么样的操作？

拥有约 10 TB 数据的大型数据库。我上面提到的查询操作：1。对于给定的地图，找到所需的所有多边形（实际上是它们的 id）（以及一般地图信息） 2. 对于所有多边形 id，获取绘制它们所需的信息 - 坐标 (x1,y1,x2,y2)

【参考方案1】：

我仍在尝试了解您需要执行哪些操作（我对 GIS 很感兴趣）。但这是我（蹩脚？）尝试提出一些建议 -

如果您想坚持使用 RDBMS，您可以使用 PostGRESQL 和 GridSQL，这将为您的 SQL 查询带来并行查询执行功能。我有一位同事看到了使用此功能的显着收益。

这是一个关于缩放的案例研究PostGres with GridSQL

如果您对实验更开放，我希望您考虑Apache HBase，它在大数据领域享有盛誉。