您将使用啥架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件
Posted
技术标签:
【中文标题】您将使用啥架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件【英文标题】:What architecture would you use to store 10 billion MIME messages and make it deletable and full text searchable incl. attachments您将使用什么架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件 【发布时间】:2011-12-26 02:35:15 【问题描述】:我想使用可免费用于商业用途的组件。
我查看了 Lucene 和 MongoDB 的组合,但想知道是否有更好的方法,最好是单个系统。
【问题讨论】:
你的问题太宽泛了。您是在一个大批量负载中处理 10b 消息还是事务性的? 仍然太宽泛...您检索了多少条消息,例如1秒?您必须批量或“实时”索引文件吗? 【参考方案1】:Sphinx 还可以处理数十亿份文档http://sphinxsearch.com/info/powered/
(虽然我也用Lucene,不知道Sphinx是否更好)
【讨论】:
以上是关于您将使用啥架构来存储 100 亿条 MIME 消息并使其可删除和全文搜索,包括。附件的主要内容,如果未能解决你的问题,请参考以下文章