如何使用OpenNLP创建自定义模型？

Question

我试图使用OpenNLPJavaAPI从文档中提取名称、技能等实体。但它没有提取正确的名称。我使用opennlp源锻造链接上可用的模型

下面是一段java代码-

public class tikaOpenIntro {

    public static void main(String[] args) throws IOException, SAXException,
            TikaException {

        tikaOpenIntro toi = new tikaOpenIntro();
        toi.filest("");
        String cnt = toi.contentEx();
        toi.sentenceD(cnt);
        toi.tokenization(cnt);

        String names = toi.namefind(toi.Tokens);
        toi.files(names);

    }

    public String Tokens[];

    public String contentEx() throws IOException, SAXException, TikaException {
        InputStream is = new BufferedInputStream(new FileInputStream(new File(
                "/home/rahul/Downloads/rahul.pdf")));
        // URL url=new URL("http://in.linkedin.com/in/rahulkulhari");
        // InputStream is=url.openStream();
        Parser ps = new AutoDetectParser(); // for detect parser related to

        BodyContentHandler bch = new BodyContentHandler();

        ps.parse(is, bch, new Metadata(), new ParseContext());

        return bch.toString();

    }

    public void files(String st) throws IOException {
        FileWriter fw = new FileWriter("/home/rahul/Documents/extrdata.txt",
                true);
        BufferedWriter bufferWritter = new BufferedWriter(fw);
        bufferWritter.write(st + "\n");
        bufferWritter.close();
    }

    public void filest(String st) throws IOException {
        FileWriter fw = new FileWriter("/home/rahul/Documents/extrdata.txt",
                false);

        BufferedWriter bufferWritter = new BufferedWriter(fw);
        bufferWritter.write(st);
        bufferWritter.close();
    }

    public String namefind(String cnt[]) {
        InputStream is;
        TokenNameFinderModel tnf;
        NameFinderME nf;
        String sd = "";
        try {
            is = new FileInputStream(
                    "/home/rahul/opennlp/model/en-ner-person.bin");
            tnf = new TokenNameFinderModel(is);
            nf = new NameFinderME(tnf);

            Span sp[] = nf.find(cnt);

            String a[] = Span.spansToStrings(sp, cnt);
            StringBuilder fd = new StringBuilder();
            int l = a.length;

            for (int j = 0; j < l; j++) {
                fd = fd.append(a[j] + "\n");

            }
            sd = fd.toString();

        } catch (FileNotFoundException e) {

            e.printStackTrace();
        } catch (InvalidFormatException e) {

            e.printStackTrace();
        } catch (IOException e) {

            e.printStackTrace();
        }
        return sd;
    }


    public void sentenceD(String content) {
        String cnt[] = null;
        InputStream om;
        SentenceModel sm;
        SentenceDetectorME sdm;
        try {
            om = new FileInputStream("/home/rahul/opennlp/model/en-sent.bin");
            sm = new SentenceModel(om);
            sdm = new SentenceDetectorME(sm);
            cnt = sdm.sentDetect(content);

        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    public void tokenization(String tokens) {

        InputStream is;
        TokenizerModel tm;

        try {
            is = new FileInputStream("/home/rahul/opennlp/model/en-token.bin");
            tm = new TokenizerModel(is);
            Tokenizer tz = new TokenizerME(tm);
            Tokens = tz.tokenize(tokens);
            // System.out.println(Tokens[1]);
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

}

我想做的是：

• 我正在使用ApacheTika将PDF文档转换为纯文本文档

但它正在提取姓名和其他单词。它不是提取专有名称。如何创建自定义模型，从文档中提取游泳、编程等技能？

给我一些想法！

任何帮助都将不胜感激！？

Answer 1

一种方法是保存一个已知专有名称的列表，这些名称可以出现在文档中。这也是培养技能的好方法。识别命名实体时，应检查其是否出现在列表中。

另一种方法是编写自己的组件来提取命名实体，这比OpenNLP做得更好，但可能要困难得多。

Answer 2

这篇帖子可能会有所帮助

OpenNLP:无法识别外来名称

它展示了如何使用称为“Modelbuilder-addon”的非常新的OpenNLP插件生成模型

你给它输入一个句子文件，一个已知名字文件，然后告诉它把模型放在哪里。嗯

Answer 3

听起来你对OpenNLP的预建名称模型的性能不满意。但是（a）模型从来都不是完美的，即使是最好的模型也会错过一些它本该抓住的东西，抓住一些它本该错过的东西；（b）如果模型训练过的文档与您试图标记的文档在类型和文本风格上匹配，那么模型的性能会最好（因此，训练过混合大小写文本的模型不会很好地适用于所有大写文本，而训练过新闻文章的模型也不会很好地适用于推文）。你可以尝试其他公开可用的工具，比如斯坦福NE工具包或LingPipe；他们可能有性能更好的模型。但没有一个是完美的。

要创建自定义模型，需要生成一些训练数据。对于OpenNLP，它看起来像

I have a Ph.D. in <START:skill> operations research <END>

对于像这样具体的事情，你可能需要自己拿出数据。你需要很多；OpenNLP文档推荐了大约15000个例句。有关更多详细信息，请参阅OpenNLP文档。