如何在 Web 浏览器中处理大数据集?

Posted

技术标签:

【中文标题】如何在 Web 浏览器中处理大数据集?【英文标题】:How to handle large data set in web browser? 【发布时间】:2017-05-05 06:54:21 【问题描述】:

我正在开发一个处理大数据可视化的 Web 应用程序。我正在使用 highcharts 来可视化数据。 highcharts 提出的所有可能的方法我都试过了。

现在我想到的一个解决方法是为我的网页从系统请求更多内存。但我不知道如何在浏览器中使用 javascript

请帮助我找到最佳解决方案。

【问题讨论】:

那么您尝试了 highcharts 为这个问题提供的数据分组吗? @K.Rohde 我已经使用了数据分组。它在一定程度上起作用,但也使我的图表变形。 【参考方案1】:

我在这里提出的不是一个完整的答案,而是一组问题,在采用这个或那个解决方案之前,你应该问自己。

数据的大小是多少? 我们是在谈论数百、数千还是数百万个数据点? 你能聚合数据点吗? 如果您难以在客户端进行高效聚合,请在服务器端进行(并尽可能缓存/记忆结果)。您有权访问服务器端代码吗? 首次加载时是否需要所有数据? 如果不是,请先找出您需要什么,然后按需加载其余部分。 动画是交互式的吗? 如果是这样,请考虑删除不必要的交互。如果可视化是静态的,请尽可能创建可视化服务器端。 目标浏览器是什么? 研究您的用户群浏览器并专注于它们提供的功能。如果您不必支持旧版浏览器,则可以专注于 Web API 为您提供的一些加速。 页面中是否有多个可视化? 考虑将繁重的数据可视化拆分为多个视图。

这个问题列表并不详尽,但它是一个起点。如果有人有更好的问题可以在这里添加评论,我会更新。

【讨论】:

以上是关于如何在 Web 浏览器中处理大数据集?的主要内容,如果未能解决你的问题,请参考以下文章

如何在 python 中处理大文件?

在 R 中处理大型数据集

结果集需要很长时间来处理来自 Oracle 的大数据

如何在基于 webpack-react-node 的网站中处理非常大的数据(100000 个 javascript 对象)?

如何在 RNN TensorFlow 中使用非常大的数据集?

要合并的大文件。如何防止熊猫合并中的重复?