SyntaxNet是否可以实现中文语义分析
华烈
2023-12-01
最近查看了很多SyntaxNet方面的知识,在GitHub上也下载了中文语料库,并成功训练了自己的中文模型,因为官网没有关于中文模型的训练方法,于是便参照别人训练英文的方式进行中文的训练。在生成的模型文件中,很明显的缺少的segment部分,于是当我输入一句话进行测试的时候,结果会是把整句话当做一个名词进行标注。我在Stack Overflow上提出我的疑问,我怀疑Google开源的SyntaxNet不支持自己训练中文模型。后来一联系了一位韩国自然语言处理的学者,他告诉我,他曾联系了Google的一位工程师,说是关于中文模型的训练,还有很多东西没有得到完善,但是后续应该会有更完善的代码发布,不过具体时间不确定。这就很尴尬,中文不像英文,有天然的空格作为分词符号,中文分词本身就是一大模块。后来我用CRF++模型进行中文的分词,现已实现(可参照我另一篇博文)。但是如何将CRF++实现的分词再使用SyntaxNet进行语义分析,却成功地阻碍了我,如果有哪位大神有什么想法,欢迎交流!