您将使用啥架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件

Posted

技术标签:

【中文标题】您将使用啥架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件【英文标题】:What architecture would you use to store 10 billion MIME messages and make it deletable and full text searchable incl. attachments您将使用什么架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件 【发布时间】:2011-12-26 02:35:15 【问题描述】:

我想使用可免费用于商业用途的组件。

我查看了 Lucene 和 MongoDB 的组合,但想知道是否有更好的方法,最好是单个系统。

【问题讨论】:

你的问题太宽泛了。您是在一个大批量负载中处理 10b 消息还是事务性的? 仍然太宽泛...您检索了多少条消息,例如1秒?您必须批量或“实时”索引文件吗? 【参考方案1】:

Sphinx 还可以处理数十亿份文档http://sphinxsearch.com/info/powered/

(虽然我也用Lucene,不知道Sphinx是否更好)

【讨论】:

以上是关于您将使用啥架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件的主要内容,如果未能解决你的问题,请参考以下文章

新浪是如何分析处理32亿条实时日志的?

Java web 服务端消息推送用啥比较好

您将在数据库、坐标或地址中存储啥?

我们如何用Cassandra每天存储上亿条线上数据

天池中间件大赛 - 单机百万消息队列存储实现分享

您将使用啥来构建带有客户端的分布式数据库?