在Hadoop中使用OpenNLP（tNER）不返回跨度

Question

我在CDH4中使用OpenNLP1.5.2，但有一个不寻常的问题。

当我运行我的jUnit测试时，一切都过去了。当我在localJobRunner模式（psuedo或完整模式）下运行时，很多名称并不总是被识别出来，当我期待一些东西时，我返回了“空白”跨度。

是的，在local/psuedo/full模式下找不到的名称在我的jUnit测试中！

每次我打电话时，我都会一次传入一个句子。我将句子标记为String[]，然后使用这些标记来查找。

我所呼吁的一个例子是：

result = Parser.tokenizedNamedEntityRecognition("PK FRESH IGA PLUS LI PORT KENNEDY WA", nameFinder);
assertEquals("IGA", result);

nameFinder的位置是：

InputStream modelIn;         
try {
  modelIn = new FileInputStream(System.getProperty("user.home") + "pathToModel" + MRConstants.c_namedEntityRecognitionModelFile);
} catch (FileNotFoundException e) {
  fail("fail message here");
}
NameFinderME nameFinder = new NameFinderME(new TokenNameFinderModel(modelIn));

在我调用的方法中，我正在做：

String tokens[] = sentence.split(MRConstants.c_singleSpace);
Span nameSpans[] = nameFinder.find(tokens);

当通过my map方法调用时，它并不总是提取名称。我想大概有20%的失败率。

其中一个经过训练的句子是：

PK FRESH <START:name> IGA <END> PLUS LI PORT KENNEDY WA

我不太清楚为什么，当我用同一个模型调用同一个方法时，它有时在本地/psuedo/full模式下运行，但总是在jUnit模式下运行。

任何见解将不胜感激：）

Answer 1

解决方法：我没有清除文档之间的自适应数据。我犯了个愚蠢的错误！