MASC: Multi-scale Affinity with Sparse Convolution for 3D Instance Segmentation

Abstract

我们提出了一种基于稀疏卷积和点亲和力预测的 3D 实例分割新方法，该方法指示两个点属于同一实例的可能性。所提出的网络基于子流形稀疏卷积[3]，处理体素化点云并预测每个占用体素的语义分数以及不同尺度下相邻体素之间的亲和力。一种简单而有效的聚类算法根据预测的亲和性和网格拓扑将点分割成实例。每个实例的语义由语义预测确定。实验表明，我们的方法在广泛使用的ScanNet基准测试 [2] 上大大优于最先进的实例分割方法。我们在 https://github.com/art-programmer/MASC上公开分享我们的代码。

1. Introduction

近年来，视觉社区见证了3D数据捕获和处理技术的巨大进步。消费级深度传感器使研究人员能够收集3D场景的大规模数据集 [2, 1, 7]。此类数据集的出现使基于学习的方法能够处理各种 3D 任务，例如对象识别、部分分割和语义分割。其中，3D 实例分割是一项重要但具有挑战性的任务，因为它需要基于实例准确分割 3D 点没有固定的标签集。在本文中，我们提出了一种简单而有效的方法来学习点之间的亲和力，该方法基于哪些点被聚类为实例。

3D 数据的不规则性对 3D 学习技术提出了挑战。体积 CNN [21, 15, 12] 首先被探索，因为它们是成功的 2D 对应物的直接扩展。提出了各种技术来降低昂贵的 3D 卷积的成本。 OctNet [17] 和 O-CNN [19] 通过八叉树表示利用 3D 数据的稀疏性来节省计算量。其他方法 [9, 14] 直接处理 3D 点云，无需体素化。虽然显示出有希望的结果，但这些方法缺乏对输入点云的局部结构进行建模的能力。后来的方法 [16, 8, 10] 使用各种技巧对局部依赖关系进行建模，但网络处理的点数仍然非常有限（例如，4、096）。室内空间的点云通常包含更多的点，这意