过滤一遍并将敏感词替换之后剩余字符串中新组成了敏感词语,这种情况就要用递归来解决,直到过滤替换之后的结果和过滤之前一样时才算结束
第一步:建立一个敏感词库(.txt文本)
第二步:编写代码在文章中过滤敏感词(递归实现)
# -*- coding: utf-8 -*- # author 代序春秋 import os import chardet # 获取文件目录和绝对路径 curr_dir = os.path.dirname(os.path.abspath(__file__)) # os.path.join()拼接路径 sensitive_word_stock_path = os.path.join(curr_dir, 'sensitive_word_stock.txt') # 获取存放敏感字库的路径 # print(sensitive_word_stock_path) class ArticleFilter(object): # 实现文章敏感词过滤 def filter_replace(self, string): # string = string.decode("gbk") # 存放敏感词的列表 filtered_words = [] # 打开敏感词库读取敏感字 with open(sensitive_word_stock_path) as filtered_words_txt: lines = filtered_words_txt.readlines() for line in lines: # strip() 方法用于移除字符串头尾指定的字符(默认为空格或换行符)或字符序列。 filtered_words.append(line.strip()) # 输出过滤好之后的文章 print("过滤之后的文字:" + self.replace_words(filtered_words, string)) # 实现敏感词的替换,替换为* def replace_words(self, filtered_words, string): # 保留新字符串 new_string = string # 从列表中取出敏感词 for words in filtered_words: # 判断敏感词是否在文章中 if words in string: # 如果在则用*替换(几个字替换几个*) new_string = string.replace(words, "*" * len(words)) # 当替换好的文章(字符串)与被替换的文章(字符串)相同时,结束递归,返回替换好的文章(字符串) if new_string == string: # 返回替换好的文章(字符串) return new_string # 如果不相同则继续替换(递归函数自己调用自己) else: # 递归函数自己调用自己 return self.replace_words(filtered_words, new_string) def main(): while True: string = input("请输入一段文字:") run = ArticleFilter() run.filter_replace(string) continue if __name__ == '__main__': main()
运行结果:
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持小牛知识库。
本文向大家介绍python 实现敏感词过滤的方法,包括了python 实现敏感词过滤的方法的使用技巧和注意事项,需要的朋友参考一下 如下所示: 测试结果: 1) 敏感词 100个 2) 敏感词 1000 个 从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法 下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为
本文向大家介绍浅谈Python 敏感词过滤的实现,包括了浅谈Python 敏感词过滤的实现的使用技巧和注意事项,需要的朋友参考一下 一个简单的实现 其中strip() 函数 删除附近的一些空格,解码采用utf-8的形式,然后将其转为小写。 parse()函数就是打开文件,然后从中取各个关键词,然后将其存在关键词集合中。 filter()函数是一个过滤器函数,其中将消息转化为小写,然后将关键词替换成
本文向大家介绍Python 实现王者荣耀中的敏感词过滤示例,包括了Python 实现王者荣耀中的敏感词过滤示例的使用技巧和注意事项,需要的朋友参考一下 王者荣耀的火爆就不用说了,但是一局中总会有那么几个挂机的,总能看到有些人在骂人,我们发现,当你输入一些常见的辱骂性词汇时,系统会自动将该词变成“*”,作为python初学者,就想用python来实现这一功能。 步骤很简单所以就用交互式演示 首先我们
本文向大家介绍JavaEE Filter敏感词过滤的方法实例详解,包括了JavaEE Filter敏感词过滤的方法实例详解的使用技巧和注意事项,需要的朋友参考一下 我们在聊天的时候的或者留言的时候,有部分词是不允许发表出来。我们可以采用过滤器实现这个功能。 我们只是简单利用过滤器实现这个过滤的功能,有些地方没写的很全 前台代码: Servlet里面的代码: 仅仅只是把从前台收的数据读取出来。看里
本文向大家介绍laravel框架实现敏感词汇过滤功能示例,包括了laravel框架实现敏感词汇过滤功能示例的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了laravel框架实现敏感词汇过滤功能。分享给大家供大家参考,具体如下: 最近项目有需求,要对用户的签名,回复进行敏感词检测,然后搜到了一个好用的扩展,分享给大家。 https://github.com/FireLustre/php-df
本文向大家介绍利用Python正则表达式过滤敏感词的方法,包括了利用Python正则表达式过滤敏感词的方法的使用技巧和注意事项,需要的朋友参考一下 问题描述:很多网站会对用户发帖内容进行一定的检查,并自动把敏感词修改为特定的字符。 技术要点: 1)Python正则表达式模块re的sub()函数; 2)在正则表达式语法中,竖线“|”表示二选一或多选一。 参考代码: 以上这篇利用Python正则表达式