在大型数据集上创建唯一节点和关系NEO4J

Question

我的问题与此非常相似：如何通过在neo4j中导入的csv文件创建唯一的节点和关系？我有一个大约250万行的textfile，其中有两列，每一列都是节点ID：

1234 345
1234 568
345 984
... ...

每一行表示一个关系（即250万个关系）:first_column nodeid->follows->second_column nodeid。这个文件中大约有80,000个唯一节点。

USING PERIODIC COMMIT 1000
LOAD CSV FROM 'file:///home/user_name/Desktop/bigfile.csv' AS line FIELDTERMINATOR ' '
MERGE (n:Userid { id: toInt(line[0]) })
WITH line, n
MERGE (m:Userid { id: toInt(line[1]) })
WITH m,n
MERGE (n)-[:FOLLOWS]->(m)

null

我的主要问题是我想知道如何使这个过程更快。这是在Ubuntu上完成的，我将conf/neo4j-wrapper.conf文件中的内存值从512 MB更改为2048 MB。（在虚拟机上可以增加的最大值）

我应该试着做导入工具吗？基于本网站上的实例，在“超级快速批量导入器”下的neo4j.com/developer/guide-import-csv/,

./bin/neo4j-import --into mydatabase.db --id-type INTEGER \
                   --nodes allnodes.csv \
                   --delimiter " " \
                   --relationships:FOLLOWS bigfile.csv

为此，我需要重新格式化文件，以便：allnodes.csv显示

userID:ID(Userid)
1234
5678
...

:START_ID(Userid)   :END_ID(Userid)
1234                 345
1234                 568
345                  984
*Two columns delimited by space*

当我运行这个导入时，我会得到以下错误：

Input error: Expected '--nodes' to have at least 1 valid item, but had 0 []
Caused by:Expected '--nodes' to have at least 1 valid item, but had 0 []
java.lang.IllegalArgumentException: Expected '--nodes' to have at least 1 valid item, but had 0 []

如何修复此错误？对于csv文件，是否将它们放在运行此命令的同一个文件夹(neo4j文件夹）中？

Answer 1

您的命令行可能有两个CSV文件的错误路径。