如何分析和查询大块数据

Posted 2023-03-24

【中文标题】如何分析和查询大块数据

【英文标题】：How to Analyze and Query big chunks of data

【发布时间】：2011-01-15 23:28:44

【问题描述】：

我需要：

1。分析http日志的大文件

我正在考虑使用 mapreduce，但我不确定在哪里托管它。我应该使用 App Engine Mapper 或 EC2+MapReduce 还是直接在我的 VPS 中使用它？ 除了 MapReduce 之外的其他建议？

2.保存并查询结果

分析完所有数据后，我需要将其保存并以最佳方式呈现给用户。我应该如何保存结果？ MongoDB 是一个很好的解决方案吗？

谢谢。

问候。

【参考方案1】：

你见过BigQuery吗？它看起来正是您所需要的。