关于 NodeJs 和大数据 [关闭]

Posted 2023-04-18

【中文标题】关于 NodeJs 和大数据 [关闭]

【英文标题】：Regarding NodeJs and big data [closed]

【发布时间】：2020-07-28 13:09:41

【问题描述】：

目前，我正在开发一个项目，有很多 mysql 查询操作，数十亿条记录，还包括数学运算，执行查询需要更多时间。

所以我需要你的帮助来选择大数据和数据库操作的技术

目前，我正在使用 nodejs 和 MySQL DB

感谢您为我提供正确的开发方式。

【问题讨论】：

这取决于数据的性质。例如如果您有关于实体的元数据或者您有非结构化数据，但总而言之，此时您可以改进数据的后端存储。

【参考方案1】：

这取决于您的数据。如果您的数据是同质的（大多数行具有相同数量的列）并且您需要执行具有大量连接的复杂查询，那么使用关系数据库作为 MySQL 是一个不错的选择。您还可以尝试其他关系数据库，如 Oracle DB、MariaDB 等。导出您当前的数据库并尝试性能是否提高应该不难。

另一方面，如果您的数据是异构的并且您不需要执行复杂的连接查询，则可以选择 NoSQL 数据库。它们有很多，但最著名的之一是 MongoDB。此外，Mongo 与 NodeJS 的集成非常好。您的主要问题是将实际的关系数据库转换为非关系数据库。

【讨论】：

您好@pabol rp 感谢您的回答。我们可以使用火花 SQL 吗？为快速结果而执行是件好事吗？