使用Apache Commons lineIterator时出现OutOfMemory错误

Question

我正在尝试使用Apache CommonsFileUtils.lineIterator逐行迭代1.2GB文件。但是，一旦LineIterator调用hasNext（）我就会得到一个java.lang.OutOfMemoryError：Java堆空间。我已经将1G分配给java堆。

我在这里做错了什么？在读取了一些文档之后，LineIterator不是应该从文件系统中读取文件，而不是将其加载到内存中吗？

注意，代码是在Scala中：

  val file = new java.io.File("data_export.dat")
  val it = org.apache.commons.io.FileUtils.lineIterator(file, "UTF-8")
  var successCount = 0L
  var totalCount = 0L
  try {
    while ( {
      it.hasNext()
    }) {
      try {
        val legacy = parse[LegacyEvent](it.nextLine())
        BehaviorEvent(legacy)
        successCount += 1L
      } catch {
        case e: Exception => println("Parse error")
      }
      totalCount += 1
    }
  } finally {
    it.close()
  }

谢谢你的帮助！

Answer 1

代码看起来不错。可能它没有在文件中找到行尾，而是将大于1Gb的非常长的行读入内存。

尝试在Unix中使用wc-l，看看可以得到多少行。