从Inception注释引擎导出带有标签的文本序列

Question

理想的导出格式是，在txt文件的每一行上：text label

我希望实现的数据格式与您在这里看到的类似:https://github.com/law-ai/semantic-segmentation/blob/master/data/text/1953_L_1.txt

Answer 1

假设您已经在INCEpTION中配置了一个名为segment的span层（它可以转换为内部名称webanno.custom.segment)，并且您已经在INCEpTION中的注释页面上将名为my-text.txt的文档的几个句子注释为segment。让我们进一步假设段层配置为具有名为标签的字符串特性，在该特性中放置诸如事实、决策比率和先例等值。

现在，您可以通过UIMA CAS XMI(XML1.0)中注释页面操作栏中的export按钮导出单个带注释的文档。您得到的是一个ZIP文件，其中包含两个文件：

• 包含注释文本的my-text.xmi文件
• 包含注释方案的typesystem.xml文件

假设您已经安装了Python3，现在可以安装DKPro Cassis，这是一个帮助您使用上面两个文件的库。

pip install dkpro-cassis

现在，您可以使用Cassis编写一个简短的Python脚本，该脚本读取注释并以您所需的格式输出它们：

from cassis import *

with open('TypeSystem.xml', 'rb') as f:
  typesystem = load_typesystem(f)

with open('my-text.xmi', 'rb') as f:
  doc = load_cas_from_xmi(f, typesystem=typesystem)

with open('output.txt', 'w') as f:
  for segment in doc.select('webanno.custom.Segment'):
    f.write(f"{segment.get_covered_text()}\t{segment.label}\n")

在INCEpTION网站的Python examples部分中有一个类似的可供运行的示例。