将字符串拆分为单词和标点符号

Question

我正在尝试将字符串拆分为单词和标点符号，并将标点符号添加到拆分生成的列表中。

例如：

>>> c = "help, me"
>>> print c.split()
['help,', 'me']

我真正希望列表看起来像是：

['help', ',', 'me']

因此，我希望将字符串在空白处拆分，并将标点符号与单词分开。

我尝试先解析字符串，然后运行拆分：

>>> for character in c:
...     if character in ".,;!?":
...             outputCharacter = " %s" % character
...     else:
...             outputCharacter = character
...     separatedPunctuation += outputCharacter
>>> print separatedPunctuation
help , me
>>> print separatedPunctuation.split()
['help', ',', 'me']

这会产生我想要的结果，但是对于大文件却很慢。

有没有办法更有效地做到这一点？

Answer 1

这或多或少是做到这一点的方法：

>>> import re
>>> re.findall(r"[\w']+|[.,!?;]", "Hello, I'm a string!")
['Hello', ',', "I'm", 'a', 'string', '!']

诀窍是，不要考虑在哪里分割字符串，而是要考虑在令牌中包含什么。

注意事项：

• 下划线（_）被认为是内部单词字符。如果不需要，请替换\ w。
• 这不适用于字符串中的（单引号）。
• 将要使用的所有其他标点符号放在正则表达式的右半部分。
• 回复中未明确提及的所有内容均被静默删除。