Neo4j 如何创建数十亿个节点？

Posted 2023-02-26

【中文标题】Neo4j 如何创建数十亿个节点？

【英文标题】：How to create billions of nodes in Neo4j?

【发布时间】：2015-03-29 23:36:04

【问题描述】：

我想用大量节点测试 Neo4j 的性能。我正在考虑创建数十亿个节点，然后想看看获取满足某些标准的节点需要多少时间。就像 10 亿个节点标记为具有 SSN 属性的人

match (p:Person) where p.SSN=4255556656425 return p;

但是如何创建10亿个节点，有没有办法生成10亿个节点？

【参考方案1】：

另一个简单的答案是一个很好的答案。如果你想要更多的参与，Michael Hunger posted a good blog entry on this。他推荐了一些基本上非常相似的东西，但是您也可以循环使用一些样本数据，并使用随机数来建立联系。

以下是他如何创建 100,000 个用户和产品并将它们链接起来，根据您的需要进行自定义：

WITH ["Andres","Wes","Rik","Mark","Peter","Kenny","Michael","Stefan","Max","Chris"] AS names
FOREACH (r IN range(0,100000) | CREATE (:User id:r, name:names[r % size(names)]+" "+r));

with ["Mac","iPhone","Das Keyboard","Kymera Wand","HyperJuice Battery",
"Peachy Printer","HexaAirBot",
"AR-Drone","Sonic Screwdriver",
"Zentable","PowerUp"] as names
    foreach (r in range(0,50) | create (:Product id:r, name:names[r % size(names)]+" "+r));

别忘了甜蜜的随机链接：

match (u:User),(p:Product)
where rand() < 0.1
with u,p
limit 50000
merge (u)-[:OWN]->(p);

发疯。

【参考方案2】：

那时您要测量的是 lucene 索引的性能。 所以不是图形数据库操作。

有多种选择：

neo4j 导入

Neo4j 2.2.0-M03 附带 neo4j-import，这是一个可以快速、可扩展地将 10 亿节点 csv 导入 Neo4j 的工具。

并行批量导入器 API

这在 Neo4j 2.2 中是非常新的

我使用新的 ParallelBatchImporter 在 5 分钟 13 秒 (53G db) 内创建了一个仅包含 1.000.000.000 个节点的节点图。这使得它大约每秒 320 万个节点。

代码在这里：https://gist.github.com/jexp/0ff850ab2ce41c9ca5e6

批量插入器

您可以使用 Neo4j Batch-Inserter-API 创建该数据，而无需先创建 CSV。

在此处查看此示例，您必须采用该示例才能不读取 CSV，而是直接从 for 循环生成数据：http://jexp.de/blog/2014/10/flexible-neo4j-batch-import-with-groovy/

密码

如果您想使用 Cypher，我建议您在 JAVA_OPTS="-Xmx4G -Xms4G" bin/neo4j-shell -path billion.db 中运行类似的内容：

这是我在我的 macbook 上使用的 10M 和 100M 的代码和时间：

创建一个 1M 行的 csv 文件

ruby -e 'File.open("million.csv","w") 
    |f| (1..1000000).each|i| f.write(i.to_s + "\n")   ' 

在 MacBook Pro 上运行的实验 Cypher 执行是单线程的 估计大小 (15+42) 字节 * 节点数

// on my laptop
// 10M nodes, 1 property, 1 label each in 98228 ms (98s) taking 580 MB on disk

using periodic commit 10000
load csv from "file:million.csv" as row
//with row limit 5000
foreach (x in range(0,9) | create (:Person id:toInt(row[0])*10+x));

// on my laptop
// 100M nodes, 1 property, 1 label each in 1684411 ms (28 mins) taking 6 GB on disk

using periodic commit 1000
load csv from "file:million.csv" as row
foreach (x in range(0,99) | create (:Person id:toInt(row[0])*100+x));

// on my linux server
// 1B nodes, 1 property, 1 label each in 10588883 ms (176 min) taking 63 GB on disk

using periodic commit 1000
load csv from "file:million.csv" as row
foreach (x in range(0,999) | create (:Person id:toInt(row[0])*100+x));

创建索引

create index on :Person(id);
schema await

// took about 40 mins and increased the database size to 85 GB

那我可以跑了

match (:Person id:8005300) return count(*);
+----------+
| count(*) |
+----------+
| 1        |
+----------+
1 row
2 ms

【讨论】：

当您的节点之间有许多关系时，CSV 导入会变得非常复杂。根据我的经验，批处理插入器是最糟糕的，因为它不支持线程（在我看来这违背了目的）。此外，当每个节点的内容约为 1kb 而不是单个数字时，性能也会变得更差。我从未使用过 parallel-batch-importer，但看起来很有希望。

是的，并行批处理插入器使用所有可用的 cpu 和磁盘 io。