neo4j bulk.csv导入的垃圾收集调优/性能降低

Question

我正在运行一个neo4j实例中的数据大容量导入（我在2.2.0社区版和企业版以及2.1.7社区版上运行过），该实例在服务器模式下运行。我的应用程序在内存中创建了一组节点，并会在中间停止编写一个series.csv文件，并向neo4j实例发送cypher以上传这些文件。（这是由于使用普通的旧REST API运行应用程序时的性能问题造成的）。

MERGE (:{NODE_TYPE} {csvLine.key = n.primaryKey}) on create set [PROPERTY LIST];

语句，并且我对所有进行合并的对象都有索引。这感觉不像是insert语句中的降级，因为减速不是线性的，而是双峰的，这感觉就像是在neo4j实例中有垃圾收集。优化neo4j JVM垃圾收集器以进行频繁的批量插入的最佳方法是什么？

NEO4J.属性：

neostore.nodestore.db.mapped_memory=50M
neostore.relationshipstore.db.mapped_memory=500M
#neostore.relationshipgroupstore.db.mapped_memory=10M
neostore.propertystore.db.mapped_memory=100M
#neostore.propertystore.db.strings.mapped_memory=130M
neostore.propertystore.db.arrays.mapped_memory=130M

neo4j-wrapper.conf：

wrapper.java.additional=-XX:+UseConcMarkSweepGC
wrapper.java.additional=-XX:+CMSClassUnloadingEnabled
wrapper.java.additional=-XX:-OmitStackTraceInFastThrow
wrapper.java.additional=-XX:hashCode=5

wrapper.java.initmemory=8194
wrapper.java.maxmemory=8194

USING PERIODIC COMMIT 110000 LOAD CSV WITH HEADERS FROM 'file:///home/jschirmer/Event_2015_4_773476.csv' AS csvLine MERGE (s:Event {primaryKey: csvLine.primaryKey}) ON CREATE SET s.checkSum= csvLine.checkSum,s.epochTime= toInt(csvLine.epochTime),s.epochTimeCreated= toInt(csvLine.epochTimeCreated),s.epochTimeUpdated= toInt(csvLine.epochTimeUpdated),s.eventDescription= csvLine.eventDescription,s.fileName= csvLine.fileName,s.ip= csvLine.ip,s.lineNumber= toInt(csvLine.lineNumber),s.port= csvLine.port,s.processPid= csvLine.processPid,s.rawEventLine= csvLine.rawEventLine,s.serverId= csvLine.serverId,s.status= toInt(csvLine.status);

USING PERIODIC COMMIT 110000 LOAD CSV WITH HEADERS FROM 'file:///home/jschirmer/Event__File_2015_4_773476.csv' AS csvLine MATCH (n:SC_CSR{primaryKey: csvLine.Event_id}), (s:File{fileName: csvLine.File_id}) MERGE n-[:DATA_SOURCE]->s;

我没有运行印花的侧写。我会这么做，但我认为通过在create语句上使用MERGE...可以避免急切的merget问题。

Answer 1

一般来说，您的配置看起来不错，您的机器有什么RAM？

对于合并的对象，我建议使用约束而不是索引。

你的tx尺寸是多少？您运行了多少并发tx？

您的CSV文件有多大？

参见:http://neo4j.com/developer/guide-import-csv/