Genius
Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random Field)条件随机场算法。
Feature
- 支持python2.x、python3.x以及pypy2.x。
- 支持简单的pinyin分词
- 支持用户自定义break
- 支持用户自定义合并词典
- 支持词性标注
Source Install
- 安装git: 1) ubuntu or debianapt-get install git2) fedora or redhatyum install git
- 下载代码：git clone https://github.com/duanhongyi/genius.git
- 安装代码：python setup.py install
Pypi Install
- 执行命令：easy_install genius或者pip install genius
Algorithm
- 采用trie树进行合并词典查找
- 基于wapiti实现条件随机场分词
- 可以通过genius.loader.ResourceLoader来重载默认的字典
功能 1)：分词genius.seg_text方法
- genius.seg_text函数接受5个参数，其中text是必填参数:
- text第一个参数为需要分词的字符
- use_break代表对分词结构进行打断处理，默认值True
- use_combine代表是否使用字典进行词合并，默认值False
- use_tagging代表是否进行词性标注，默认值True
- use_pinyin_segment代表是否对拼音进行分词处理，默认值True
代码示例( 全功能分词 )
#encoding=utf-8
import genius
text = u"""昨天,我和施瓦布先生一起与部分企业家进行了交流,大家对中国经济当前、未来发展的态势、走势都十分关心。"""
seg_list = genius.seg_text(
text,
use_combine=True,
use_pinyin_segment=True,
use_tagging=True,
use_break=True
)
print('\n'.join(['%s\t%s' % (word.text, word.tagging) for word in seg_list]))
功能 2)：面向索引分词
- genius.seg_keywords方法专门为搜索引擎索引准备，保留歧义分割，其中text是必填参数。
- text第一个参数为需要分词的字符
- use_break代表对分词结构进行打断处理，默认值True
- use_tagging代表是否进行词性标注，默认值False
- use_pinyin_segment代表是否对拼音进行分词处理，默认值False
- 由于合并操作与此方法有意义上的冲突，此方法并不提供合并功能；并且如果采用此方法做索引时候，检索时不推荐genius.seg_text使用use_combine=True参数。
代码示例
#encoding=utf-8
import genius
seg_list = genius.seg_keywords(u'南京市长江大桥')
print('\n'.join([word.text for word in seg_list]))
功能 3)：关键词提取
- genius.tag_extract方法专门为提取tag关键字准备，其中text是必填参数。
- text第一个参数为需要分词的字符
- use_break代表对分词结构进行打断处理，默认值True
- use_combine代表是否使用字典进行词合并，默认值False
- use_pinyin_segment代表是否对拼音进行分词处理，默认值False
代码示例
#encoding=utf-8
import genius
tag_list = genius.extract_tag(u'南京市长江大桥')
print('\n'.join(tag_list))
其他说明 4)：
- 目前分词语料出自人民日报1998年1月份，所以对于新闻类文章分词较为准确。
- CRF分词效果很大程度上依赖于训练语料的类别以及覆盖度，若解决语料问题分词和标注效果还有很大的提升空间。
-
Python-genius基于条件随机域的中文断词库 Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random Field)条件随机场算法。 【中文分词】条件随机场CRF 之前介绍的MMEM存在着label bias问题，因此Lafferty et al. [1] 提出了CRF (Conditional Random Field). BTW：比较有意思的
-
python 中文分词工具 jieba，https://github.com/fxsjy/jieba jieba_fast，https://github.com/deepcs233/jieba_fast nltk，https://github.com/nltk/nltk FoolNLTK，https://github.com/rockyzhengwu/FoolNLTK/blob/master/RE
-
"哑哈"中文分词，更快或更准确，由你来定义。通过简单定制，让分词模块更适用于你的需求。 "Yaha" You can custom your Chinese Word Segmentation efficiently by using Yaha 基本功能： 精确模式，将句子切成最合理的词。 全模式，所有的可能词都被切成词... 更多Yaha信息 jieba "结巴"中文分词：做最好的Python中
-
Genius是一个开源的python中文分词组件，采用 CRF(Conditional Random Field)条件随机场算法。 https://github.com/duanhongyi/genius 序列标签： https://github.com/guillaumegenthial/sequence_tagging Bidirectional LSTM-CRF for Sequence L
-
中文NLP工具包中文NLP工具 工具包综合NLP工具包 流行的英语/多语言NLP工具包常用的英语或支持多语言的NLP工具包 中文分词 信息提取信息提取 QA和Chatbot问答和聊天机器人 2. 语料库 3. 组织相关中文NLP组织和会议 4. 学习资料 中文NLP工具包中文NLP工具 工具包综合NLP工具包 清华的THULAC中文词法分析工具包（C ++ / Java / Python）
-
Genius是一个任意精度整数和多种精度浮点计算器。它包含一个它自己的程序语言，在某些方面类似于C语言，bc，或Pascal。它可以处理有理数和复数。支持矩阵运算。它使用的是GMP库，以便它进行非常快的大量计算。它有一个命令行和GNOME的界面。在GNOME接口支持绘图函数和三维表面。
-
Genius-Android是什么? Genius-Android 是 Android 中一些常用的的方法集合, Genius 提供6个基本板块： app (Ui) animation （动画） widget （Material控件） command （命令行） net tool （Ping、Dns...） util （常用方法,类） 功能模块 animation TouchEffectAnima
-
Webpack Genius 是一个开箱即用的 webpack 配置脚手架。 特性： 高性能 支持热更新（毫秒级） 自动编译各类文件（.js, .jsx, .ts, .tsx, .css, .scss, .less, .styl, .json5, .html, .jpg, .png, .gif, .ttf, ......） 默认支持css-modules （可关闭） 支持快速配置antd主题 打包时自动压缩文件 链式+回调 操作，更直观
-
介绍 现阶段，应用于搜索引擎和自然语言处理的中文分词库五花八门，使用方式各不统一，虽然有适配于Lucene和Elasticsearch的插件，但是我们想在多个库之间选择更换时，依旧有学习时间。 Hutool针对常见中文分词库做了统一接口封装，既定义一套规范，隔离各个库的差异，做到一段代码，随意更换。 Hutool现在封装的引擎有： Ansj HanLP IKAnalyzer Jcseg Jieba
-
本文向大家介绍PHPAnalysis中文分词类详解，包括了PHPAnalysis中文分词类详解的使用技巧和注意事项，需要的朋友参考一下 PHPAnalysis是目前广泛使用的中文分词类，使用反向匹配模式分词，因此兼容编码更广泛，现将其变量与常用函数详解如下： 一、比较重要的成员变量 $resultType = 1 生成的分词结果数据类型(1 为全部， 2为 词典词汇及单个中日韩简
-
中文分词是怎么走到今天的 话说上个世纪，中文自动分词还处于初级阶段，每句话都要到汉语词表中查找，有没有这个词？有没有这个词？所以研究集中在：怎么查找最快、最全、最准、最狠......，所以就出现了正向最大匹配法、逆向最大匹配法、双向扫描法、助词遍历法......，用新世纪比较流行的一个词来形容就是：你太low了！ 中文自动分词最难的两个问题：1）歧义消除；2）未登陆词识别。说句公道话，没有上个世纪