使用nltk（非正则表达式）提取引文/引文

Question

句子的输入列表：

sentences = [
    """Well, I've tried to say "How Doth the Little Busy Bee," but it all came different!""",
    """Alice replied in a very melancholy voice. She continued, 'I'll try again.'"""
]

所需输出：

How Doth the Little Busy Bee,
I'll try again.

是否有一种方法可以使用内置或第三方标记器使用nltk提取引用（可以以单引号和双引号显示）？

我曾尝试使用sexprotokenizertokenizer作为parens值提供单引号和双引号，但结果与预期相差甚远，例如：

In [1]: from nltk import SExprTokenizer
    ...: 
    ...: 
    ...: sentences = [
    ...:     """Well, I've tried to say "How Doth the Little Busy Bee," but it all came different!""",
    ...:     """Alice replied in a very melancholy voice. She continued, 'I'll try again.'"""
    ...: ]
    ...: 
    ...: tokenizer = SExprTokenizer(parens='""', strict=False)
    ...: for sentence in sentences:
    ...:     for item in tokenizer.tokenize(sentence):
    ...:         print(item)
    ...:     print("----")
    ...:     
Well,
I've
tried
to
say
"
How
Doth
the
Little
Busy
Bee,
"
 but it all came different!
----
Alice replied in a very melancholy voice. She continued, 'I'll try again.'

有类似这样和这样的线程，但它们都建议使用基于正则表达式的方法，但是，我很好奇这是否只能用nltk来解决-听起来像是自然语言处理中的常见任务。

Answer 1

在引擎盖下，SExprTokenzer也是一种基于正则表达式的方法，从您链接到的源代码中可以看出。
从源代码中还可以看出，作者显然没有考虑打开和关闭“paren”用相同的字符表示。嵌套的深度在同一迭代中增加和减少，因此标记器看到的引用是空字符串。

我认为，识别引号在NLP中并不常见。人们使用引号的方式很多（特别是当你使用不同的语言时…），因此，用稳健的方法很难做到正确。对于许多NLP应用程序，引用只是被忽略了，我想说。。。