Neo4j 是不是能够在 HDFS 中存储数据？

Posted 2023-04-18

【中文标题】Neo4j 是不是能够在 HDFS 中存储数据？

【英文标题】：Is Neo4j capable to store data in HDFS?Neo4j 是否能够在 HDFS 中存储数据？

【发布时间】：2015-10-26 15:36:47

【问题描述】：

Q1：是否可以使用 HDFS 作为 Neo4j 的存储后端？

我的原始数据很大（2TB 到 3TB，仍在处理中，因此无法准确判断有多少顶点和边），所以我自然会担心 Neo4j 在这种情况下是否仍然适用。我们当前的集群有 64 核 CPU，每个节点 128G RAM，而数据无法放入本地 HDD，除非图形可以存储在 HDFS 中。

Q2：Neo4j 会从 HA 集群模式中提升性能吗？

HA Cluster 是只在每个集群节点上分发副本，还是 Neo4j 并行运行查询以获得高性能？如果是后者，是否每个节点都拥有整个图的副本（假设整个图真的很大）以减少网络 IO 开销？

提前致谢！

BR, 托德·利奥

【参考方案1】：

1) 应该可以，但是你需要将hdfs挂载为普通硬盘。

但在我看来这没有意义，因为那样 I/O 操作会很慢。如果您将其与 SSD 进行比较。

2) 它提高了性能，因为您可以使用多台机器（从机）进行读取操作。 - http://neo4j.com/docs/stable/ha-how.html

【讨论】：

是否可以将HDFS的某个目录挂载为HDD？

@ToddLeo 是的，有可能 - wiki.apache.org/hadoop/MountableHDFS 但是使用 HDFS 没有任何优势。

嗨 Mic，在将近一整年之后，我仍然沉迷于此。你说

嗨 Mic，在将近一整年之后，我仍然沉迷于此。你说 I/O 操作会很慢，与 SSD 相比。它与HDD相比如何？将整个数据目录存储到 HDFS 时是否会降低性能（将 data/ 目录指向集群中所有机器上的相同 HDFS URI）