加快将数据导入 Neo4j 图形数据库的速度

Posted 2023-02-19

【中文标题】加快将数据导入 Neo4j 图形数据库的速度

【英文标题】：Speeding up import of data into Neo4j graph database

【发布时间】：2012-09-24 22:11:13

【问题描述】：

我正在做一个项目，我们必须通过读取带有节点信息的 xml 文件来创建图形，我已经有了这一部分，但是创建节点和关系的过程太长了，需要 31 分钟在具有 Core 2 Duo、6GB RAM、Windows 和 Fedora 16 分钟的计算机上，在其他计算机上 Core i5 和 4GB RAM 大约需要。 3 分钟，在 Core i7 计算机上。

所以，我的问题是，怎么了？我可以做些什么来加速这个过程？

我修改了neo4j.properties的配置文件，一点效果都没有，持续时间太长，你知道吗？

谢谢。

【问题讨论】：

您能否展示一些您的代码，以便我们了解您是如何添加数据的？您要添加多少个节点和关系，它们有什么属性吗？更多细节会有所帮助...

你使用批量插入还是事务？

请提供有关 xml 语法和您的导入方法的更多数据。我个人使用了 gremlin graphML.import()，它在 linux 服务器和 windows 笔记本电脑上花费了相同的时间。

巴勃罗你找到原因了吗？

【参考方案1】：

您是在问我们为什么两台机器之间的速度如此之慢，还是只是一般而言？

也许您可以向我们提供有关您正在使用此导入执行的操作的信息？

我问是因为我自己使用过批处理插入器，并且某些操作可能需要比其他操作更长的时间，例如索引查找。然而，我的用例允许我通过利用并行编程将负载优化 1 个数量级。

您能否向我们提供更多信息？