并行使用StanfordCoreNLP

Question

from pycorenlp import StanfordCoreNLP

nlp = StanfordCoreNLP('http://localhost:9000')
res = nlp.annotate("I love you. I hate him. You are nice. He is dumb",
                   properties={
                       'annotators': 'sentiment',
                       'outputFormat': 'json',
                       'timeout': 1000,
                   })
for s in res["sentences"]:
    print("%d: '%s': %s %s" % (
        s["index"],
        " ".join([t["word"] for t in s["tokens"]]),
        s["sentimentValue"], s["sentiment"]))

假设我有+10000个句子，我想像这个例子一样分析。有可能并行处理这些和多线程吗？

Answer 1

不确定这个方法。在java中，我使用corenlp和我想要使用的管道设置了单例类。然后，我在单例中调用一个方法，多个线程使用同一个实例，它使用几个句子，并对它们进行注释，对结果进行一些处理。所以这种类型的多线程是有效的。我已经做了几年了，没有任何问题

你能考虑一下你的代码来做这件事吗？因此，设置您的管道，然后在您的线程池中一次调用几个句子的注释？应该不需要太多的努力。

希望这有意义。