从文本文件中提取单词

Question

假设您有一个像这样的文本文件：http :
//www.gutenberg.org/files/17921/17921-8.txt

有没有人有一个好的算法或开放源代码从文本文件中提取单词？如何获得所有单词，同时避免使用特殊字符，并保留诸如“ it’s”之类的内容…

我在用Java工作。谢谢

Answer 1

这听起来像是正则表达式的正确工作。如果您不知道如何开始，以下是一些Java代码，可以帮助您：

String input = "Input text, with words, punctuation, etc. Well, it's rather short.";
Pattern p = Pattern.compile("[\\w']+");
Matcher m = p.matcher(input);

while ( m.find() ) {
    System.out.println(input.substring(m.start(), m.end()));
}

该模式[\w']+多次匹配所有单词字符和撇号。示例字符串将逐字打印。查看Java
Pattern类文档
以了解更多信息。