使用Apache OpenNLP查找以空格分隔的名称

Question

我正在使用Apache Open NLP的NER。我已经成功训练了我的自定义数据。在使用名称查找器时，我正在根据空白拆分给定的字符串并传递字符串数组，如下所示。

NameFinderME nameFinder = new NameFinderME(model);   
String []sentence = input.split(" "); //eg:- input = Give me list of test case in project X
Span nameSpans[] = nameFinder.find(sentence);

在这里，当我使用split时，test和case作为单独的值给出，namefinder永远不会检测到它们。我将如何克服上述问题。是否有一种方法可以传递完整的字符串（而不将其拆分为数组），这样，测试用例本身就可以被视为一个整体？

Answer 1

你可以用正则表达式来实现。尝试用以下内容替换第二行：

String[]句子=输入。分裂（\\s（？）？

也许有更好的方法来编写表达式，但这对我有用，输出是：

Give
me
list
of
test case
in
project
X

编辑：如果你对细节感兴趣，请在这里查看我分割的地方：https://regex101.com/r/6HLBnL/1

编辑2：如果你有很多单词没有分开，我写了一个方法来为你生成正则表达式。这就是本例中正则表达式的样子（如果不想将“测试用例”和“项目中”分开）：

<代码>\s（？

下面是一个简单的程序来演示它。在本例中，只需将不需要分隔的单词放入数组unseparated。

class NoSeparation {

private static String[][] unseparated = {{"test", "case"}, {"in", "project"}};

private static String getRegex() {
    String regex = "\\s(?<!";

    for (int i = 0; i < unseparated.length; i++)
        regex += "(\\s" + separated[i][0] + "\\s(?=" + separated[i][1] + "\\s))|";

    // Remove the last |
    regex = regex.substring(0, regex.length() - 1);

    return (regex + ")");
}

public static void main(String[] args) {
    String input = "Give me list of test case in project X";
    String []sentence = input.split(getRegex());

    for (String i: sentence)
        System.out.println(i);
}
}

编辑3：下面是一个非常肮脏的方法来处理超过2个单词的字符串。这是可行的，但我相信你可以用一种更有效的方式。它在短时间内工作正常，但在较长时间内可能会很慢。

您必须将不应该拆分的单词放在2d数组中，如未分隔。如果您出于某种原因不想使用%%，您还应该选择分隔符（例如，如果您的输入可能包含它）。

class NoSeparation {

private static final String SEPARATOR = "%%";
private static String[][] unseparated = {{"of", "test", "case"}, {"in", "project"}};

private static String[] splitString(String in) {
    String[] splitted;

    for (int i = 0; i < unseparated.length; i++) {
        String toReplace = "";
        String replaceWith = "";
        for (int j = 0; j < unseparated[i].length; j++) {
            toReplace += unseparated[i][j] + ((j < unseparated[i].length - 1)? " " : "");
            replaceWith += unseparated[i][j] + ((j < unseparated[i].length - 1)? SEPARATOR : "");
        }

        in = in.replaceAll(toReplace, replaceWith);
    }

    splitted = in.split(" ");

    for (int i = 0; i < splitted.length; i++)
        splitted[i] = splitted[i].replaceAll(SEPARATOR, " ");

    return splitted;
}

public static void main(String[] args) {
    String input = "Give me list of test case in project X";
    // Uncomment this if there is a chance to have multiple spaces/tabs
    // input = input.replaceAll("[\\s\\t]+", " ");

    for (String str: splitString(input))
        System.out.println(str);
}
}