是否有任何众所周知的快速持久缓存解决方案？ [关闭]

Posted 2023-04-01

【中文标题】是否有任何众所周知的快速持久缓存解决方案？ [关闭]

【英文标题】：Is there any good known solution for a fast persistent cache? [closed]

【发布时间】：2011-08-20 15:33:59

【问题描述】：

我的网络爬虫需要非常快速且持久的缓存。它不需要像 Java 中的 ConcurrentSkipListSet 一样快，但绝对不能是我尝试过的带有基于哈希索引的表的 mysql。超过 100 万条记录后，它需要大约 80% 的处理器时间。 有没有人知道或听说过对这个案子有用的东西？ 感谢您的任何提示。

【问题讨论】：

ConcurrentSkipListSet 当然可以作为级别 1 留在游戏中，我正在寻找的是级别 2 的东西

卡桑德拉怎么样？许多属性都适合我的场景。速度快吗？

【参考方案1】：

试试EhCache。它主要是内存缓存，具有溢出和持久性到磁盘后备存储的选项。存在多年，仍在积极发展，非常成熟。

【讨论】：

谢谢，我试试看，可惜 BigMemory 不是免费的

最近开始看EHCache，估计BigMemory不是持久化的。

我也这么认为，但它使用堆外存储保留 GC，这很好，jvm 可以保持较小，因此 GC 运行得更快

【参考方案2】：

我正在研究cache2k，并研究最近的缓存驱逐策略以使其成为最快的java缓存，请参阅cache2k benchmarks。

Persistence 现已添加，将在两周内提供预览和测试。我预计它会在五周内非常稳定。当然，cache2k 的实现不如 EHCache 成熟，但是，所有发布的东西都在我们自己的应用程序中使用，并在生产环境中证明了自己。

更新：“两周”非常乐观，因为整个锁定概念最终需要重写和仔细检查...您可以在github跟踪当前出现的持久性支持

【讨论】：

这现在是持久缓存吗？我已阅读文档，但在其中找不到任何单词？