Stanford-nlp分类器对n>1的n-grams内存不足

Question

我试图运行Stanford-nlp分类器的20个新闻文本分类示例，使用n-gram(n=>1,2,3）作为特性，但我仍然出现内存错误。下面是我使用的属性和运行它的命令：

2.useSplitWordNGrams=true
2.maxWordNGramLeng=3               
2.minWordNGramLeng=1               

java -mx1800m -cp $STANFORD_CLASSIFIER_JAR edu.stanford.nlp.classify.ColumnDataClassifier \
   -trainFile 20news-devtrain.txt -testFile 20news-devtest.txt \
   -2.useSplitWords -2.splitWordsRegexp "\\s+" -prop 20news1.prop

对于unigrams，程序按预期运行。问题是我只有4G内存可用，我想知道是否有可能加载像这样的大型号这样的内存这么少。

干杯，迪米特里斯

Answer 1

我不能使用Stanford-NLP代码，但我可以一般性地回答关于n-gram特性的问题。如果你的词汇表中有v项，那么一个朴素的bigram模型就有v^2个参数（而一个trigram模型有v^3)。你应该做的是找到最具辨别力的bigrams，如果你确定你想要n-gram特性，就把它们用作特性。看看做这件事的各种特征选择方法。