foolnltk是一个基于深度学习的中文分词工具
1、特点:
基于BiLSTM模型训练而成
包含分词、词性标注、实体识别,都有比较高的准确率
用户定义词典
知乎网址:https://www.zhihu.com/search?type=content&q=FoolNLTK%E7%AE%80%E4%BB%8B
git 网址:https://github.com/rockyzhengwu/FoolNLTK
2、安装:
pip install foolnltk
3、使用:
#coding:utf-8
import fool
# 分词
text = "张明明是一个人在上海"
print(fool.cut(text))
'''
输出结果:[['张明明', '是', '一个', '人', '在', '上海']]
'''
# 词性标注
print(fool.pos_cut(text))
'''
输出结果:[[('张明明', 'nr'), ('是', 'vshi'), ('一个', 'm'), ('人', 'n'), ('在', 'p'), ('上海', 'ns')]]
'''
# 实体识别
words, ners = fool.analysis(text)
print(ners)
print(words)
'''
[[(0, 4, 'person', '张明明'), (8, 11, 'location', '上海')]]
[[('张明明', 'nr'), ('是', 'vshi'), ('一个', 'm'), ('人', 'n'), ('在', 'p'), ('上海', 'ns')]]
'''
这个是在知乎上看到的一个工具,自己动手试了一下,觉得效果还可以