通过图割实现单点类注释的分割？

Question

x、y、类

我如何才能最好地利用这些单个像素注释的知识来执行一个好的语义分割？

之前也有人问过类似的问题，得到的回答是使用图割：

编辑：我的数据集大约有10个不同的类，每个图像大概平均有5个。注释者不能保证注释每一个宗教，但很少会漏掉一个（少数缺失的区域或错误标注的区域是可以容忍的）。每个类对应于纹理一致的区域，纹理是相当恒定的（想想天空，污物，水，山）。你不能从一个点获得纹理，但几乎所有的区域都应该有多个点注释。

Answer 1

一个有趣的问题。由于没有具体的例子，我将只概述我自己尝试过的算法方法。

• 计算密集图像描述符（例如，SIFT/HOG/GABOR或更好地使用预训练的深度网络，如VGG）。
• 仅从所有带注释位置的图像中获取描述符：您应该有大约10k个带有类标签的描述符。在此集合上训练一个简单的分类器（例如支持向量机）。
• 返回图像：应用分类器并输出每个像素属于每个类的对数概率。这应该是一元术语（也称为“数据术语”），用于您的图形切割。
• 局部修改一元项，以强制注释的点属于正确的类。
• 使用简单的成对项（图像梯度或某些基于边缘的项）。
• 应用图割获取语义分段。

为了训练一个完全卷积的分割模型，你不一定要为所有像素都有标签。您可能有“ignore_label”：用该标签标记像素会被忽略，并且不会导致丢失。
您的情况是“ignore_label”的极端情况-每个图像只有60个像素被标记。尽管如此，看看你能用如此稀疏的信息学到什么，可能还是很有趣的。

想一想，每张图片所包含的信息不仅仅是标注的点：

我的数据集大约有10个不同的类，每个图像大概平均有5个

这意味着如果image有类1..5的标签，您就知道它不包含类6..10（！）你可能有一个“正项”在损失分配给正确的类的极少数标记的像素，和一个负项“所有其余的像素，如果他们被分配给在图像中根本不存在的类惩罚”。