如何分析和查询大块数据

Posted

技术标签:

【中文标题】如何分析和查询大块数据【英文标题】:How to Analyze and Query big chunks of data 【发布时间】:2011-01-15 23:28:44 【问题描述】:

我需要:

1。分析http日志的大文件

我正在考虑使用 mapreduce,但我不确定在哪里托管它。我应该使用 App Engine Mapper 或 EC2+MapReduce 还是直接在我的 VPS 中使用它? 除了 MapReduce 之外的其他建议?

2.保存并查询结果

分析完所有数据后,我需要将其保存并以最佳方式呈现给用户。我应该如何保存结果? MongoDB 是一个很好的解决方案吗?

谢谢。

问候。

【问题讨论】:

【参考方案1】:

你见过BigQuery吗?它看起来正是您所需要的。

【讨论】:

以上是关于如何分析和查询大块数据的主要内容,如果未能解决你的问题,请参考以下文章

内存映射:小块内存申请brk和申请大块内存的Mmap分析

在 git bash 中更改“暂存这个大块”查询的颜色

新手面对网页该如何下手

技术瓶颈?如何解决MongoDB超大块数据问题?

如何加快大块 BlockingCollection 的实现

Netty源码分析:PoolArena