解析大量和多次获取以进行统计

Posted

技术标签:

【中文标题】解析大量和多次获取以进行统计【英文标题】:Parse large and multiple fetches for statistics 【发布时间】:2015-07-23 09:17:17 【问题描述】:

在我的应用程序中,我想从 Parse 中检索大量数据以构建统计视图。但是,将来随着数据的积累,这可能是一个巨大的数字。

例如,10,000 个结果。即使我一次分批提取 1000 个,这也会导致 10 次提取。这可以很快地向我发送 Parse 每秒 30 个请求的限制。特别是当可能需要同时收集其他几个数据块以获取其他统计信息时。

对于这种情况有什么建议/提示/建议?

【问题讨论】:

【参考方案1】:

您还将遇到skiplimit 查询变量的限制。在移动设备上举重也可能会给您带来问题。

如果可以的话,您应该预先汇总这些统计信息,也许每天一次,这样您就可以直接请求详细信息。

或者,创建一个云代码函数来为您做一些处理并返回结果。同样,您可能会在这里遇到限制,因此云作业可能会更好地满足您的需求,然后您可能需要有效地创建一个由作业处理的请求对象,然后轮询完成或在完成时发送推送通知。

【讨论】:

有趣。但是运行云代码,会不会像直接在应用程序中调用它们一样用尽请求? 它会,是的,你可能实际上会使用 .each,它会运行 100 个批次。因此,如果可以的话,建议预处理......要么选择其他服务器。跨度>

以上是关于解析大量和多次获取以进行统计的主要内容,如果未能解决你的问题,请参考以下文章

为 CSV 文件制作解析器以获取大量数据

statsmodels中方差分析表结果解析

python 查询分析器,用于解析Redis的MONITOR命令,以获取有关查询模式的计数器/计时统计信息。 https://github.com/facebookarchive/redis-

GIN下关于参数的多次绑定问题

HTML解析以获得我想要的[重复]

概率论与数理统计 第四版 课后习题答案 习题解析