本部分内容部分来自:https://github.com/lancopku/PKUSeg-python
最近看到一些博文介绍了北大的一个开源的中文分词工具包pkuseg。其中说到,它在多个分词数据集上都有非常高的分词准确率,我们所知道的,也经常使用的结巴分词误差率高达 18.55% 和 20.42,而北大的 pkuseg 只有 3.25% 与 4.32%。当然还有其他的分词工具,如:清华大学的THULAC,HanLp,pynlpir等工具。分词的重要性不言而喻,在看到相关介绍后也在第一时间去尝试一下,以下根据github开源信息做出实验,其使用的语言是python。github地址为:https://github.com/lancopku/PKUSeg-python。
pkuseg是由北京大学语言计算与机器学习研究组研制推出的一套全新的中文分词工具包。pkuseg具有如下几个特点:
方式1.程序包下载安装