使用 HDFS RAMDisk 和 Alluxio 有啥区别？

Posted 2023-02-16

【中文标题】使用 HDFS RAMDisk 和 Alluxio 有啥区别？

【英文标题】：What's the difference between using HDFS RAMDisk and Alluxio?使用 HDFS RAMDisk 和 Alluxio 有什么区别？

【发布时间】：2018-12-28 05:16:30

【问题描述】：

既然HDFS支持RAMDisk，那么使用Alluxio有什么好处。在我们的例子中，我们不支持在 HDFS 之外集成不同类型的底层存储。

【参考方案1】：

拥有Under Storage的概念并在Alluxio和Under Storage之间保持数据和元数据同步是Alluxio和HDFS之间的关键区别。此外，Alluxio 被设计用于托管热数据并实现分布式缓存的语义，而 HDFS 被设计为持久存储服务，因此还有一些其他区别。

Alluxio 提供configurable eviction policies。 Alluxio 原生支持设置 TTL 等操作（请参阅link）。 HDFS中数据的块副本数是固定不变的，用于持久性（默认为3，可以使用setrep命令更改HDFS中的复制级别）。但是，Alluxio 中的区块副本数量可以根据不同区块的流行程度自动改变。如果一个块被不同服务器上的多个不同应用程序访问，则可以有更多副本。 Alluxio 支持分层存储，因此可以使用 MEM、SSD 和 HDD 配置多层（请参阅link）。