javamljava.lang.OutOfMemoryError：Java堆空间

Question

我使用javaml训练分类器。现在，我的数据中的实例包含如下格式的向量

1 0:5 1:9 24:2 ......

所以当我从文件中读取这些时，我使用string.split.然后将值放入稀疏实例中，然后将其添加到分类器中。

然而，我得到了一个堆空间内存错误。我读过关于字符串的文章。split（）导致内存泄漏，因此我使用了新的String来避免内存泄漏。然而，我仍然面临堆空间问题

代码如下所示

////////////////////////////////////////

BufferedReader br = new BufferedReader(new FileReader("Repository\\IMDB Data\\Train.feat"));
Dataset data=new DefaultDataset();
String TrainLine;
int j=0;
while((TrainLine = br.readLine()) != null && j < 20000){
                //TrainLine.replaceAll(":", " ");
                String[] arr = TrainLine.split("\\D+");
                double[] nums = new double[arr.length];
                for (int i = 0; i < nums.length; i++) {
                    nums[i] = Double.parseDouble(new String(arr[i]));
                }
                //vector has one less element than arr 85527
                String label;
                if(nums[0] == 1){
                    label = "positive";
                }else{
                    label = "negative";
                }
                System.out.println(label);
                Instance instance = new SparseInstance(85527,label);
                int i;
                for(i=1;i<arr.length;i=i+2){
                    instance.put((int)nums[i],nums[i+1]);
                    //Strings have been converted to new strings to overcome memory leak
                }
                data.add(instance);


                    j++;
            }
            knn = new KNearestNeighbors(5);
            knn.buildClassifier(data);

            svm = new LibSVM();
            svm.buildClassifier(data);

////////////////////////////////////////

Exception in thread "AWT-EventQueue-0" java.lang.OutOfMemoryError: Java heap space
    at java.util.TreeMap.put(Unknown Source)
    at java.util.TreeSet.add(Unknown Source)
    at java.util.AbstractCollection.addAll(Unknown Source)
    at java.util.TreeSet.addAll(Unknown Source)
    at net.sf.javaml.core.SparseInstance.keySet(SparseInstance.java:144)
    at net.sf.javaml.core.SparseInstance.keySet(SparseInstance.java:27)
    at libsvm.LibSVM.transformDataset(LibSVM.java:80)
    at libsvm.LibSVM.buildClassifier(LibSVM.java:127)
    at backend.ShubhamKNN.<init>(ShubhamKNN.java:55)

Answer 1

我也得到这个错误，当数据集太大时就会发生这种情况。

你可以只用1000条记录运行你的代码，我想它运行的还可以。耗费大量内存是Libsvm的一个问题，它总是出现这样的错误:

java.lang.OutOfMemoryError: Java heap space

如果您的计算机有足够的内存（我的是8G），您可以在Eclipse中调整类的内存参数：

>

在Package Explorer视图中选择调用libsvm lib的类

在菜单上，运行-

以上是我的解决方案，更多细节见：http://blog.csdn.net/felomeng/article/details/4688414