从Java向Postgresql加载数据的速度非常慢

Question

我有26个CSV文件，我想每晚从互联网上抓取并上传到Postgresql表中。我使用Java、PreparedStatement和Batch实现了这一点。尽管如此，性能仍然非常缓慢。要获取大约6000个条目并将其放入Postgresql，需要30分钟。这是我第一次做这样的事情，所以我不知道这是快还是慢。

为了获取文件，我使用了以下代码。

URL grabberUrl = new URL(csvUrl);
URLConnection grabberConn = grabberUrl.openConnection();
BufferedReader grabberReader = new BufferedReader(new InputStreamReader(grabberConn.getInputStream())); 

然后，我使用PreparedStatement从输入流中提取并设置值

con = DriverManager.getConnection(url, user, password);
pst = con.prepareStatement("insert into blah(name, year) values(?, ?)");
pst.setString(1, name);
pst.setString(2, year);

我然后批处理插入。我尝试了从100到1000的值，但没有对性能进行有意义的更改。

pst.addBatch();

if (count == 100) { 
count = 0;
pst.executeBatch(); 
}

有人对我能做些什么来让事情更快有什么建议吗？

Answer 1

尝试以下方法：

PGConnection con = (PGConnection) DriverManager.getConnection(...);

CopyManager copyManager = con.getCopyAPI();

copyManager.copyIn("copy mytable from stdin with (format csv)", grabberReader);

如果mytable被严重索引，则删除索引，加载并重新创建索引。

Answer 2

如果可以从PostgreSQL server访问文件，请尝试使用copy语句。参见链接http://www.postgresql.org/docs/9.3/static/sql-copy.html

此外，如果知道数据质量，可以临时删除任何表约束并删除任何索引。加载数据后，可以添加约束和索引。