当前位置: 首页 > 软件库 > 程序开发 > 中文分词库 >

wordfilter

敏感词过滤工具
授权协议 Apache-2.0
开发语言 Java
所属分类 程序开发、 中文分词库
软件类型 开源软件
地区 国产
投 递 者 梁俊智
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

wordfilter 是一个用 DFA 算法实现的敏感词过滤工具,支持 Skip 参数控制敏感词干扰噪音,支持白名单跳过白名单词汇,支持在线添加和删除敏感词,管理敏感词库。

API 预览

  • 敏感词替换

    String text = "我们决定紧急征调5000人前往宅区帮助灾民,并且决定为紧急事件打开绿灯";
    filter.replace(text);

     

  • 是否包含敏感词

    String text = "我小时候有个朋友叫张三,现在和他几乎没联系了";
    filter.include(text);

     

  • 获取敏感词数

    String text = "我小时候有个朋友叫张三,现在和他几乎没联系了";
    int result = filter.wordCount(text);

     

  • 获取敏感词列表

    String text = "我小时候有个朋友叫张三,现在和他几乎没联系了";
    List<String> words = filter.wordList(text);

     

  • 增加白名单功能

    - blacklist.txt
    - whitelist.txt

     

  • 增加方法重载

    - replace(final String text)                     // distance=0&symbol=*
    - replace(final String text, final char symbol)  // distance=0
    - include(final String text)                     // distance=0
    - wordCount(final String text)                   // distance=0
    - wordList(final String text)                    // distance=0

     

  • 增加在线添加敏感词方法

    //此处将5000加入黑名单
    context.addWord(Collections.singletonList("5000"), WordType.BLACK);

     

  • 增加在线删除敏感词方法

    //此处将5000移出黑名单(若黑名单没有该词组将忽略)
    context.removeWord(Collections.singletonList("5000"), WordType.BLACK);
    //此处将紧急事件移出白名单(若白名单没有该词组将忽略)
    context.removeWord(Collections.singletonList("紧急事件"), WordType.WHITE);
 相关资料
  • 注意:“敏感词过滤”功能需在“应用防护管理”中开启对应的防护(Web防护/Nginx自编译/RASP)才可使用。 “敏感词过滤”是指对互联网发布的言论和文章中含有的敏感词进行过滤。敏感词经过在互联网的传播和扩散会影响社会的稳定和用户的使用。网防G01的“敏感词过滤”功能可以对用户post请求的内容阻止并提示,而get请求的内容则使用“*”号替代敏感词。如果网站开启GZIP时,敏感词过滤则不生效。

  • 本文向大家介绍python 实现敏感词过滤的方法,包括了python 实现敏感词过滤的方法的使用技巧和注意事项,需要的朋友参考一下 如下所示: 测试结果: 1) 敏感词 100个 2) 敏感词 1000 个 从上面的实验我们可以看出,在DFA 算法只有在敏感词较多的情况下,才有意义。在百来个敏感词的情况下,甚至不如普通算法 下面从理论上推导时间复杂度,为了方便分析,首先假定消息文本是等长的,长度为

  • 本文向大家介绍浅谈Python 敏感词过滤的实现,包括了浅谈Python 敏感词过滤的实现的使用技巧和注意事项,需要的朋友参考一下 一个简单的实现 其中strip() 函数 删除附近的一些空格,解码采用utf-8的形式,然后将其转为小写。 parse()函数就是打开文件,然后从中取各个关键词,然后将其存在关键词集合中。 filter()函数是一个过滤器函数,其中将消息转化为小写,然后将关键词替换成

  • 本文向大家介绍JavaEE Filter敏感词过滤的方法实例详解,包括了JavaEE Filter敏感词过滤的方法实例详解的使用技巧和注意事项,需要的朋友参考一下  我们在聊天的时候的或者留言的时候,有部分词是不允许发表出来。我们可以采用过滤器实现这个功能。 我们只是简单利用过滤器实现这个过滤的功能,有些地方没写的很全 前台代码: Servlet里面的代码: 仅仅只是把从前台收的数据读取出来。看里

  • 一、本功能说明 对网站内容进行过滤屏蔽,以免违反互联网相关政策而导致网站被关闭 二、子功能导航 1.添加敏感词 2.修改敏感词 2.删除敏感词 三、功能详解 1.添加敏感词 1).如何进入本功能 导航栏 选择扩展 -> 菜单栏 选择 敏感词管理-> 顶部添加敏感词或者批量导入 2).界面解释 a.)点击添加敏感词后显示如下界面 界面详述 1). 敏感词: 请填写您要屏蔽的任何词语 2). 替换词:

  • 本文向大家介绍laravel框架实现敏感词汇过滤功能示例,包括了laravel框架实现敏感词汇过滤功能示例的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了laravel框架实现敏感词汇过滤功能。分享给大家供大家参考,具体如下: 最近项目有需求,要对用户的签名,回复进行敏感词检测,然后搜到了一个好用的扩展,分享给大家。 https://github.com/FireLustre/php-df

  • 本文向大家介绍java利用DFA算法实现敏感词过滤功能,包括了java利用DFA算法实现敏感词过滤功能的使用技巧和注意事项,需要的朋友参考一下 前言 敏感词过滤应该是不用给大家过多的解释吧?讲白了就是你在项目中输入某些字(比如输入xxoo相关的文字时)时要能检 测出来,很多项目中都会有一个敏感词管理模块,在敏感词管理模块中你可以加入敏感词,然后根据加入的敏感词去过滤输 入内容中的敏感词并进行相应的

  • 本文向大家介绍利用Python正则表达式过滤敏感词的方法,包括了利用Python正则表达式过滤敏感词的方法的使用技巧和注意事项,需要的朋友参考一下 问题描述:很多网站会对用户发帖内容进行一定的检查,并自动把敏感词修改为特定的字符。 技术要点: 1)Python正则表达式模块re的sub()函数; 2)在正则表达式语法中,竖线“|”表示二选一或多选一。 参考代码: 以上这篇利用Python正则表达式