在 Javascript 中有效地逐步过滤大型数据集

Posted 2023-03-25

【中文标题】在 Javascript 中有效地逐步过滤大型数据集

【英文标题】：Efficiently progressively filtering large dataset in Javascript

【发布时间】：2021-05-24 19:38:46

【问题描述】：

我的应用程序允许用户构建针对相当大的数据库（1500 万条记录）运行的查询。用户能够过滤大约 45 个不同的字段。他们首先从下拉列表中选择一个字段，然后从基于字段选择填充的添加下拉列表中选择值来创建这些过滤器。我想让它逐步过滤，类似于 excel 的工作方式。附加过滤器应仅限于应用先前过滤器后可用的数据。这也可能会限制可用字段。现在我可以完成这项工作，但只能通过接触整个表格来获取每个选定字段的选项。正如您可能想象的那样，这不是很有效，因为我一遍又一遍地重新处理相同的数据。我的数据在谷歌大查询中。服务器是运行 express 的节点。有没有其他方法可以让我做到这一点更有效但仍能推动渐进式过滤器行为？我环顾四周，但我唯一能找到的就是在内存中的大型数据集上执行此操作，但我需要作为服务器请求执行此操作。

任何想法都会很有帮助。

谢谢

【参考方案1】：

尝试将 CPU 扩展任务委托给 js 中的worker 线程。

可以看看Napa.js

【讨论】：

感谢您的建议。我认为我正在寻找的更多是真的有一个数据结构来保存所有可能的选项组合，这比每次都访问整个数据库更好吗？