解析大量和多次获取以进行统计
Posted
技术标签:
【中文标题】解析大量和多次获取以进行统计【英文标题】:Parse large and multiple fetches for statistics 【发布时间】:2015-07-23 09:17:17 【问题描述】:在我的应用程序中,我想从 Parse 中检索大量数据以构建统计视图。但是,将来随着数据的积累,这可能是一个巨大的数字。
例如,10,000 个结果。即使我一次分批提取 1000 个,这也会导致 10 次提取。这可以很快地向我发送 Parse 每秒 30 个请求的限制。特别是当可能需要同时收集其他几个数据块以获取其他统计信息时。
对于这种情况有什么建议/提示/建议?
【问题讨论】:
【参考方案1】:您还将遇到skip
和limit
查询变量的限制。在移动设备上举重也可能会给您带来问题。
如果可以的话,您应该预先汇总这些统计信息,也许每天一次,这样您就可以直接请求详细信息。
或者,创建一个云代码函数来为您做一些处理并返回结果。同样,您可能会在这里遇到限制,因此云作业可能会更好地满足您的需求,然后您可能需要有效地创建一个由作业处理的请求对象,然后轮询完成或在完成时发送推送通知。
【讨论】:
有趣。但是运行云代码,会不会像直接在应用程序中调用它们一样用尽请求? 它会,是的,你可能实际上会使用.each
,它会运行 100 个批次。因此,如果可以的话,建议预处理......要么选择其他服务器。跨度>
以上是关于解析大量和多次获取以进行统计的主要内容,如果未能解决你的问题,请参考以下文章
python 查询分析器,用于解析Redis的MONITOR命令,以获取有关查询模式的计数器/计时统计信息。 https://github.com/facebookarchive/redis-