spaCy代币。标签uu完整列表

Question

令牌的官方文档。spaCy中的标签如下：

一个细粒度的、更详细的标签，表示单词类和令牌的一些基本形态信息。这些标签主要设计为后续模型的良好功能，尤其是语法解析器。它们依赖于语言和树状库。标记者被训练来预测这些细粒度的标签，然后使用映射表将它们简化为粗粒度的. pos标签。

但它没有列出所有可用的标签和每个标签的解释。我在哪里能找到它？




Answer 1

这是标签列表：

TAG_MAP = [
    ".",        
    ",",        
    "-LRB-",    
    "-RRB-",    
    "``",       
    "\"\"",     
    "''",       
    ",",        
    "$",        
    "#",        
    "AFX",      
    "CC",       
    "CD",       
    "DT",       
    "EX",       
    "FW",       
    "HYPH",     
    "IN",       
    "JJ",       
    "JJR",      
    "JJS",      
    "LS",       
    "MD",       
    "NIL",      
    "NN",       
    "NNP",      
    "NNPS",     
    "NNS",   
    "PDT",   
    "POS",   
    "PRP",   
    "PRP$",  
    "RB",    
    "RBR",   
    "RBS",   
    "RP",    
    "SP",    
    "SYM",   
    "TO",    
    "UH",    
    "VB",    
    "VBD",  
    "VBG",  
    "VBN",  
    "VBP",  
    "VBZ",  
    "WDT",  
    "WP",   
    "WP$",  
    "WRB",  
    "ADD",  
    "NFP",   
    "GW",    
    "XX",    
    "BES",   
    "HVS",   
    "_SP",   
]

Answer 2

标记的可用值。标记是特定于语言的。这里的语言，我不是指英语或葡萄牙语，我指的是“en_core_web_sm”或“pt_core_news_sm”。换句话说，它们是特定于语言模型的，并且在TAG_映射中定义，TAG_映射是可定制和可训练的。如果您不自定义它，它将是该语言的默认标记映射。

在写这封信的时候，斯帕西。io/models列出了所有经过预培训的模型及其标签方案。

现在，解释一下。如果您正在使用英语或德语文本，那么您很幸运！您可以使用spacy.explain（）或在github上访问其词汇表以获取完整列表。如果您正在使用其他语言，token.pos_值始终是通用依赖项的值，并且无论如何都可以工作。

最后，如果您正在使用其他语言，为了获得标签的完整解释，您必须在模型页面中列出的源代码中查找您感兴趣的模型。例如，对于葡萄牙语，我必须跟踪用于训练模型的葡萄牙语UD Bosque语料库中标记的解释。

Answer 3

最后我在spaCy的源代码：glossary中找到了它。皮耶。这个链接解释了不同标签的含义。