Python拼写检查器

Question

我对Python和NLTK相当陌生。我正忙于一个可以执行拼写检查的应用程序（用正确的单词替换拼写错误的单词）。我目前正在使用Python 2.7上的附魔库、PyEnchant和NLTK库。下面的代码是一个处理更正/替换的类。

from nltk.metrics import edit_distance

class SpellingReplacer:
    def __init__(self, dict_name='en_GB', max_dist=2):
        self.spell_dict = enchant.Dict(dict_name)
        self.max_dist = 2

    def replace(self, word):
        if self.spell_dict.check(word):
            return word
        suggestions = self.spell_dict.suggest(word)

        if suggestions and edit_distance(word, suggestions[0]) <= self.max_dist:
            return suggestions[0]
        else:
            return word

我编写了一个函数，它接收单词列表，对每个单词执行replace（），然后返回这些单词的列表，但拼写正确。

def spell_check(word_list):
    checked_list = []
    for item in word_list:
        replacer = SpellingReplacer()
        r = replacer.replace(item)
        checked_list.append(r)
    return checked_list

>>> word_list = ['car', 'colour']
>>> spell_check(words)
['car', 'color']

现在，我真的不喜欢这个，因为它不是很准确，我正在寻找一种方法来实现拼写检查和单词替换。我还需要一些可以发现拼写错误的东西，比如“caaaar”？有没有更好的方法来执行拼写检查？如果有，它们是什么？谷歌是如何做到的？因为他们的拼写建议器非常好。

有什么建议吗？

Answer 1

python中检查拼写的最佳方法是：SymSpell、Bk Tree或Peter Novig的方法。

最快的是SymSpell。

这是方法1：引用链接pyspellchecker

该库基于Peter Norvig的实现。

pip安装pyspellCheck ker

from spellchecker import SpellChecker

spell = SpellChecker()

# find those words that may be misspelled
misspelled = spell.unknown(['something', 'is', 'hapenning', 'here'])

for word in misspelled:
    # Get the one `most likely` answer
    print(spell.correction(word))

    # Get a list of `likely` options
    print(spell.candidates(word))

方法2：符号拼写Python

pip安装-U符号

Answer 2

我建议从仔细阅读彼得·诺维格的这篇文章开始。（我不得不做类似的事情，我发现它非常有用。）

下面的函数，特别是你现在需要使你的拼写检查更复杂的想法：拆分，删除，转置，插入不规则的单词来“纠正”它们。

def edits1(word):
   splits     = [(word[:i], word[i:]) for i in range(len(word) + 1)]
   deletes    = [a + b[1:] for a, b in splits if b]
   transposes = [a + b[1] + b[0] + b[2:] for a, b in splits if len(b)>1]
   replaces   = [a + c + b[1:] for a, b in splits for c in alphabet if b]
   inserts    = [a + c + b     for a, b in splits for c in alphabet]
   return set(deletes + transposes + replaces + inserts)

注：以上是诺维格拼写矫正器的一个片段

好消息是，您可以逐步添加并不断改进拼写检查器。

希望这有帮助。

Answer 3

可以使用自动更正库在python中进行拼写检查<示例用法：

from autocorrect import Speller

spell = Speller(lang='en')

print(spell('caaaar'))
print(spell('mussage'))
print(spell('survice'))
print(spell('hte'))

结果：

caesar
message
service
the