快速CSV解析

Question

我有一个Java服务器应用程序，可以下载CSV文件并进行解析。解析可能需要5到45分钟，并且每小时都要进行一次。此方法是应用程序的瓶颈，因此不是过早的优化。到目前为止的代码：

        client.executeMethod(method);
        InputStream in = method.getResponseBodyAsStream(); // this is http stream

        String line;
        String[] record;

        reader = new BufferedReader(new InputStreamReader(in), 65536);

        try {
            // read the header line
            line = reader.readLine();
            // some code
            while ((line = reader.readLine()) != null) {
                 // more code

                 line = line.replaceAll("\"\"", "\"NULL\"");

                 // Now remove all of the quotes
                 line = line.replaceAll("\"", "");


                 if (!line.startsWith("ERROR"){
                   //bla bla 
                    continue;
                 }

                 record = line.split(",");
                 //more error handling
                 // build the object and put it in HashMap
         }
         //exceptions handling, closing connection and reader

是否有现有的库可以帮助我加快速度？我可以改善现有代码吗？

Answer 1

您看过Apache Commons CSV吗？

使用注意事项 split

请记住，split仅返回数据视图，这意味着原始line对象不符合垃圾回收的条件，同时引用了任何视图。也许制作防御性副本会有所帮助？（Java错误报告）

在对包含逗号的转义CSV列进行分组时也不可靠