当前位置: 首页 > 工具软件 > Fuzzywuzzy > 使用案例 >

python字符串模糊匹配 - FuzzyWuzzy

江正德
2023-12-01

简介

字符串模糊匹配在很多问题中有实际价值。比如NER或任何词条关联问题,将不规范的词条与标准词条进行链接匹配。在数据量大或包含关系复杂时,使用优秀的工具包可极大提升效率。

FuzzyWuzzy 既是这样一个可进行字符串模糊匹配的python包,根据Levenshtein Distance(也被称为Edit Distance,指两个字符串,有一个转换成另一个所需要的最少操作次数)计算字符串之间的差异。这在序列比对中也是很常用的算法。编辑距离越小,两个字符串相似度越高。

FuzzyWuzzy已更新到0.18.0 版本,目前已更名为TheFuzz,对应0.19.0版本。而目前是使用更多的则是RapidFuzz,运行速度更快,参见另一篇介绍

安装:pip install fuzzywuzzy 或 pip install thefuzz

FuzzyWuzzy使用

主要有2种用法:

  • 比较计算两个字符串的相似度,返回值为0-100,表示相似度比率,使用各类ratio方法;
  • 在候选列表中查询与目标字符串最相似的字符串,使用process;

适用的模糊匹配关系如下:

  • 完全匹配;
  • 子字符串匹配;
  • 不考虑子词顺序的匹配;
  • 不考虑子词顺序和个数的匹配;

其中前两种方法基于字符串,大小写敏感。后两种方法基于token,大小写不敏感且忽略标点符号。

简单完全匹配(Simple Ratio)

直接使用Levenshtein.ratio, 计算公式:r = (sum - dist) / sum。式中idist是类编辑距离,即编辑距离中的替换需要操作两次,sum是字符串长度和。

>>> from fuzzywuzzy import fuzz,process
>>> fuzz.ratio("this is a test", "this is a test!")
97
>>> fuzz.ratio("这是测试", "这是测验") # (8-2)/8
75

子字符串匹配(Partial Ratio)

先找到最长相似子字符串,再计算其与较短字符串的相似度。返回最相似的子字符串的相似度。

>>> fuzz.partial_ratio("this is a test", "this is a test!")
100
>>> fuzz.partial_ratio("这是测试示例", "这是测验")
75

不考虑词顺序的匹配(Token Sort Ratio)

先调用 process_and_sort(s1, force_ascii, full_process=full_process),将字符串按空格切分,对token按字母顺序排序后合并为新的字符串,再进行相似度计算。

  • force_ascii:bool,表示是否转换为ascii码后再进行full_process处理;
  • full_process:bool,表示是否去除非字母,非数字(空格保留);否则不进行处理;

该方法要求字符串由多个词组成,如果是中文,需要提前进行分词。

>>> fuzz.ratio("fuzzy wuzzy was a bear", "wuzzy fuzzy was a bear")
91
>>> fuzz.token_sort_ratio("fuzzy wuzzy was a bear", "wuzzy fuzzy was a bear")
100

该方法默认partial=False,比较全长字符串,另有partial_token_sort_ratio方法可用,字符串处理后可返回最大子串相似度。

去重子集匹配(Token Set Ratio)

与token_sort_ratio类似,不考虑子词顺序,并且不考虑token数目。先对两个字符串s1,s2根据full_process取值进行full_process处理,之后对token去重,获取交集inters和差集(diff1to2,diff2to1),并排序。然后构建(inters_sort,inters_sort+diff1to2_sort),(inters_sort,inters_sort+diff2to1_sort),(diff1to2_sort,diff2to1_sort)3个比较集合,返回相似度最大值。

>>> fuzz.token_sort_ratio("fuzzy was a bear", "fuzzy fuzzy was a bear")
84
>>> fuzz.token_set_ratio("fuzzy was a bear", "fuzzy fuzzy was a bear")
100

该方法默认partial=False,比较全长字符串,另有partial_token_set_ratio方法可用,字符串处理后可返回最大子串相似度。

QRatio / WRatio

QRatio(Quick)似乎是为了在其他方法调用时,减少一些重复的字符串操作。
​WRatio(Weighted)使用了不同的算法,在使用ratio/partial_ratio获得结果后,根据序列长度进行相似度校正。

  • 使用ratio时,如果一个字符串的长度是另一个的1.5倍,使用partial_ratio,并将结果乘以权重0.9。如果长度是另一个的8倍,权重设为0.6。
  • 如果使用了partial_ratio,partial_token_sort_ratio 或partial_token_set_ratio,都要根据长度加权处理,权重设为0.95。

Process

从候选列表中,返回与目标字符串最相似的一个或指定个数,可在大规模列表中直接搜索。
默认ratio计算为fuzz.WRatio,可在scorer参数指定相似度计算方法。

>>> choices = ["Atlanta Falcons", "New York Jets", "New York Giants", "Dallas Cowboys"]
>>> process.extract("new york jets", choices, limit=2)
[('New York Jets', 100), ('New York Giants', 78)]
>>> process.extractOne("cowboys", choices)
("Dallas Cowboys", 90)
# 指定 scorer
>>> process.extractOne("System of a down - Hypnotize", songs, scorer=fuzz.token_sort_ratio)

参数:

  • score_cutoff:设置相似度阈值;
  • scorer:指定相似度计算方法;
  • limit:设置返回个数;

总结

FuzzyWuzzy提供了快速方便的字符串模糊匹配和搜索方法。一般更有用的是process模块,提供封装好的函数,可以指定fuzz模块中的不同相似度计算方法,可在大规模候选集合中找到与查询字符串最相似的结果。
字符串模糊匹配的核心是两个字符串的相似度计算,详细可参考 python-Levenshtein 库的原理和使用。

参考

FuzzyWuzzy:https://github.com/seatgeek/fuzzywuzzy
TheFuzz:https://github.com/seatgeek/thefuzz
https://medium.com/@laxmi17sarki/string-matching-using-fuzzywuzzy-24be9e85c88d

 类似资料: