Python查看MITIE模型的所有词

问题描述

查看MITIE total_word_feature_extractor模型的所有词

解决方案

from mitie import *

twfe = total_word_feature_extractor("total_word_feature_extractor_zh.dat")  # 加载
words = twfe.get_words_in_dictionary()
words = list(map(bytes.decode, words))  # 批量解码
for word in words:
    print(word)
print(len(words))

实例

作者羊肉泡馍与糖蒜使用中文维基百科和百度百科语料训练的total_word_feature_extractor_chi.dat（密码：p4vx）结果为200000条数据

参考文献

1. MITIE/examples/python
2. 用Rasa NLU构建自己的中文NLU系统