OpenNLP文档分类培训

Question

我正在尝试使用OpenNLP对发票进行分类。根据它的描述，我将它分为两类。我已经建立了一个包含20K描述的培训文件，并将每个描述标记到正确的类中。

培训数据如下所示（第一列是代码，我将其用作类，第二列是发票描述）：

85171231 IPHONE 5S CINZA ESPACIAL 16GB (ME432BZA)
85171231 Galaxy S6 SM-G920I
85171231 motorola - MOTO G5 XT1672
00000000 MOTONETA ITALIKA AT110
00000000 CJ BOX UNIBOX MOLA 138X57X188 VINHO

使用OpenNLP的Document分类器，我实现了98.5%的正确率。但是，为了提高效率，我取了错误的分类文档并用它来扩展训练数据。

例如，当我第一次运行它时，“MOTONETA ITALIKA AT110”被归类为“85171231”。没关系，因为在第一次运行时，“MOTONETA ITALIKA AT110”没有被分类。所以，我教分类器明确地将“MOTONETA ITALIKA AT110”标记为“00000000”。

但是，再次运行它时，OpenNLP坚持将其归类为“85171231”，尽管训练数据包含一个指向“000000”的明确映射。

所以我的问题是：我在教OpenNLP吗？如何提高它的效率？

我使用的代码是：

MarkableFileInputStreamFactory dataIn = new MarkableFileInputStreamFactory("data.train");

ObjectStream<String> lineStream = new PlainTextByLineStream(dataIn, StandardCharsets.UTF_8);
ObjectStream<DocumentSample> sampleStream = new DocumentSampleStream(lineStream);

TrainingParameters params = new TrainingParameters();
params.put(TrainingParameters.ITERATIONS_PARAM, "100");
params.put(TrainingParameters.CUTOFF_PARAM, "0");

DoccatModel model = DocumentCategorizerME.train("pt", sampleStream, params, new DoccatFactory());

DocumentCategorizer doccat = new DocumentCategorizerME(model);
double[] aProbs = doccat.categorize("MOTONETA ITALIKA AT110".replaceAll("[^A-Za-z0-9 ]", " ").split(" "));
doccat.getBestCategory(aProbs);

Answer 1

默认情况下，DocumentCategorizer将使用单词包。这意味着不考虑术语的顺序。如果85171231组中出现频率较高的MOTONETA ITALIKA AT110的任何术语，分类器将倾向于使用该组。

您有几个选择：

• 您可以将MOTONETA ITALIKA AT110的更多变体添加到组000000；
• 尝试更改特征生成器。

第二种选择是更改模型的创建，如下所示：

int minNgramSize = 2;
int maxNgramSize = 3;
DoccatFactory customFactory = new DoccatFactory(
    new FeatureGenerator[]{
        new BagOfWordsFeatureGenerator(),
        new NGramFeatureGenerator(minNgramSize, maxNgramSize)
    }
);
DoccatModel model = DocumentCategorizerME.train("pt", sampleStream, params, customFactory);

通过移除BagOfWordsFeatureGenerator并更改最小和最大ngram大小，可以使用特征生成器。