【foolnltk 中文分词】简单好用新的中文分词包

python 中文分词 工具包，如jieba,pkuseg，hanNLP ，下面介绍另外一种新的中文分词工具包foolnltk

FoolNLTK — 作者号称“可能不是最快的开源中文分词，但很可能是最准的开源中文分词”。

这个开源工具包基于BiLSTM模型训练而成，功能包含分词，词性标注，实体识别。并支持用户自定义词典，可训练自己的模型及批量处理文本。

如何安装：

pip install foolnltk

tensorflow2.x 系列 跑下面的任务会报如下错误：

from tensorflow.contrib.crf import viterbi_decode
ModuleNotFoundError: No module named 'tensorflow.contrib'

安装依赖：

pip install tensorflow-addons

将下面这个导入方式更改
from tensorflow.contrib.crf import viterbi_decode

改为
from tensorflow_addons.text import viterbi_decode

全部改完成功后，又报如下错误：

AttributeError: module 'tensorflow' has no attribute 'gfile'

解决方案：

在tensorflow2中：

问题产生的原因：在当前的版本中，gfile已经定义在io包的file_io.py中。

解决方案：

image_jpg = tf.io.gfile.GFile('dog.jpg', 'rb').read()

依然报错：

AttributeError: module 'tensorflow' has no attribute 'GraphDef'

解决办法：加入下面代码导入包

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()

再次运行

# -*- coding: utf-8 -*-

# 导入包
import fool

text = "一个傻子在北京"
print(fool.cut(text))

运行结果：

[['一个', '傻子', '在', '北京']]