【论文笔记】Non-Rigid Point Set Registration Networks

蓝色
紫色
红色
2022-01-13 22:47:49

Non-Rigid Point Set Registration Networks

Code

Abstract

  点云注册被定义为确定从 源点集到目标点集 的空间变换的过程。现有方法通常以 迭代方式 搜索最佳几何变换 以注册给定的一对点集，由 最小化 预定义的对齐损失函数 驱动。相比之下，所提出的点注册神经网络（PR-Net）主动 从训练数据集中学习 配准模式 作为参数函数，从而预测 所需的几何变换 以对齐一对点集。PR-Net可以将学到的知识（即注册模式）从注册训练对转移到测试对，而 无需额外的迭代优化。具体来说，在本文中，我们开发了一些新技术，从点云中学习 形状描述符 ，这有助于在源点集和目标点集之间建立明确的相关性。通过定义的相关性，PR-Net倾向于 预测变换 ，以便源点集和目标点集可以在统计上对齐，从而实现最佳的空间几何配准。PR-Net 即使在存在高斯噪声、异常值和缺失点的情况下，也能在点云的非刚性配准方面实现稳健而卓越的性能，但注册大量对所需的时间要少得多。更重要的是，对于一对新的点集，PR-Net能够使用学习的模型直接预测所需的转换，而无需重复迭代优化例程。

1. Introduction

A. Background

  在过去的几十年中，点集匹配和配准是最重要的计算机视觉任务之一[1]–[8，28]，其广泛的应用包括立体匹配、医学图像配准、大规模3D重建、3D点云匹配、语义分割等[9]–[14]。点集配准在数学上定义为确定空间几何变换（即刚性和非刚性变换）的过程，该过程可以将源点集最佳地注册到目标点集。所需的配准算法可以找到刚性（即旋转、反射和移位）和非刚性（即膨胀和拉伸）变换，并且对异常值、高斯点漂移、数据不完备性等都是鲁棒的。
  为了解决点集配准问题，现有方法[5，7]通常 迭代搜索最佳几何变换 以配准两组点，通过 最小化 预定义的对齐损失函数来驱动。对齐损失通常预定义为 转换后的源点集和目标点集之间的某种类型的距离度量（例如欧氏距离损失）。之前的努力[5，7，15]通过 开发各种优化算法和距离指标，在点集配准方面取得了巨大成功，如[15]中总结的那样。但是，这些方法通常不是为处理 实时点集注册或处理大量数据集 而设计的。这种限制主要是由于这样一个事实造成的，即对于每个给定的点集对，迭代方法需要从新的迭代优化过程开始，即使对于微不足道的类似情况也是如此。这一观察结果表明，现有的工作主要集中在 优化策略的独立开发上，而不是巧妙地将一对对齐到另一对所获得的配准模式的技术。这触发了我们开发我们提出的PR-Net的动机，希望从一组训练数据中积极学习 注册模式，从而适应性地利用这些知识直接 预测 一对新的看不见的 点云的几何变换。因此，PR-Net能够处理具有类似模式的实时点集注册或大量数据集。为了更好地理解点云注册，我们简要回顾了相关作品，如下所示。

B. Related Works

  迭代注册方法。当前主流的点集配准方法侧重于优化算法的开发，以估计迭代例程中的刚性或非刚性几何变换。假设一对点集通过刚性变换相关，注册方法是在迭代搜索例程中估计最佳平移和旋转参数，旨在最小化两组点之间的距离度量。最流行的刚性配准方法之一，迭代最近点（ICP）算法[11]，被提出来处理点集配准与变换参数的最小二乘估计。ICP 从刚性变换的初始估计开始，然后通过交替地从点集中选择相应的点作为估计变换参数来迭代细化变换。据报道，ICP算法容易受到选择相应点进行初始变换估计的影响，并且也无法处理非刚性变换。
  为了适应一对点集之间的变形（例如变形、铰接），在开发算法以解决非刚性变换的挑战时花费了许多精力。Chui和Rangarajan [16]提出了一种稳健的方法来模拟非刚性变换，称为薄板样条[17]。他们提出了TPS-RSM算法，对二阶导数进行惩罚，以优化所需变换的参数。Ma等人[18]引入了一种L2E估计器，用于处理显着的尺度变化和旋转的非刚性配准。此外，Myronenko等人[28]提出了非参数相干点漂移（CPD）算法，该算法利用高斯混合似然并惩罚速度场所有阶数的导数以强制速度相干性，以便源点集的质心连贯地移动到目标点集。他们报告说，与TPS-RSM算法相比，他们的算法可以很容易地扩展到N维空间。Ma等人[7]提出了一种非参数向量场共识算法，以建立两组点之间的鲁棒对应关系。实验结果表明，所提出的方法对异常值相当稳健。在[1]中，作者强调了保留非刚性点集注册的局部和全局结构的重要性。Wang等人[19]提出了图匹配的路径跟踪策略，以提高计算效率。Zhou等人[20]提出了一种用于多图像匹配的快速交替最小化算法。在过去的几十年中，现有方法在刚性和非刚性点集注册方面取得了巨大成功。但是，它们主要集中在点集注册优化策略的独立开发上，而不是学习注册过程作为模式的技术。在本文中，这些当前算法的不足促使我们开发一种基于学习的注册范式，该范式能够主动学习有关如何注册两个点集的知识，从而适应性地利用这些知识直接预测几何变换，而无需为每个类似情况开始新的迭代搜索过程。
  基于学习的注册方法。深度学习最近在各种计算机视觉领域取得的巨大成功[21]–[27]促使研究人员开始使用深度神经网络[24]–[27，29，30]对配准问题进行建模。在这个方向上的早期尝试主要集中在开发基于学习的成对图像配准方法上。例如，Rocco等人[29]开发了一种CNN架构来预测2D图像匹配的刚性和非刚性转变。Balakrishnan等人[30]提出了一种预测非刚性变形场的深度学习方法，并应用于可变形医学图像配准。这两部作品都有深度学习的共同用途，即从图像中学习视觉特征，以形成成对的图像相关性。[29]中提出的方法倾向于预测基于TPS的变换函数的成对图像配准的参数，而[30]中的作者旨在预测平滑配准场以近似非刚性变换。虽然它不是一个直接的配准模型，但Zeng等人[27]提出了一个体积3D-CNN来学习局部形状描述符几何补丁匹配。上述基于学习的注册方法，尽管没有在点集注册上工作，但鼓励我们在本文中采取进一步措施，研究使用深度神经网络学习点集注册的可能性。我们将在下面的小节中简要描述我们提议的PR-Net，并在方法部分中讨论技术细节。

C. Our Solution: Point Set Registration Neural Network (PRNet)

  与具有常规网格的图像数据不同，点云数据通常以不规则和无序的格式记录。学习点集配准需要深度神经网络适用于不规则点云数据。此外，与包含丰富纹理和颜色信息的图像不同，点云仅用几何信息（即坐标，曲率，法线）表示。这表明，基于学习的点集配准解决方案需要解决两个主要的技术挑战：1）从点云中稳健地学习局部和全局几何特征，以及2）从成对几何特征集之间明确定义的相关度量中对变换进行鲁棒学习。因此，所提出的美通社（PR-Net）研究了两个主要研究问题：1）通过引入一种新的参考算子来设计点云学习技术，以便在任意结构数据上形成相关度量，以及2）从成对特征集进行几何变换学习的学习范式的发展。
  图1显示了由三个主要组件组成的拟议PRNet的管道。第一个组件是"学习形状描述符张量"。在该组件中，提出了网格参考结构，以实现特征学习并形成任意结构数据的相关性。在此组件中，形状相关张量被开发为一个度量，以进一步评估要注册的点集的两个形状描述符张量之间的相关性。形状相关张量被表述为"全对全"逐点计算，来自在第一个分量中计算的形状描述符张量对。第三个组成部分是"学习转换的参数"。在此组件中，我们利用"形状相关张量"空间与"变换参数"之间的函数映射来确定在统计上对齐源点云集和目标点云集的最佳几何变换。在本文中，PR-Net利用CNN作为功能回归模型来近似上述映射函数，以便学习所需变换的参数。因此，管道的主要组成部分表明了我们提议的PR-Net的主要贡献如下：

• 我们提出了一种新技术，直接从具有不规则和无序格式的点云中学习全局和局部形状感知的"形状描述符张量"。形状描述符张量被证明在提取几何形状特征方面是有效和高效的，即使对于存在缺失点、噪声和异常值的点云也是如此。
• 我们提出了一种新颖的形状相关张量，用于全面评估待注册的两个点集之间的相关性。
• 我们提出了一种新的统计对齐损失函数，该函数驱动我们的结构确定最佳几何变换，从而在统计上对齐源点云集和目标点云集。
• 总而言之，我们提出了一种新颖的基于学习的点集注册范式，该范式从训练数据中学习配准模式，因此，自适应地利用该知识直接预测几何变换以对齐一对新的点集，而无需从新的迭代搜索过程开始。

  总之，给定大量用于训练的数据集，PR-Net展示了一种稳定的泛化能力，可以直接预测看不见的点云数据所需的非刚性变换，即使存在高水平的噪声，缺失点和异常值。

2. Approach

  我们将在以下各节中介绍我们的方法。在第2 A节中，我们陈述了基于学习的注册问题。从第2 B节到第2 D节，连续的四个部分进行了说明，以详细解释我们方法的每个模块。第 2 部分 B 说明了我们用于学习点集的形状描述符张量的结构。在第2 C节中，我们介绍了基于学习的形状描述符的形状相关张量。非刚性形状变换预测在第 2 D 节中介绍。损失函数的定义在第 2 E 节中讨论，训练和模型配置的设置在第 2 F 节中解释。

A. Problem statement

B. Learning shape descriptor tensor

C. Shape correlation tensor

D. Shape transformation prediction

E. From statistical alignment to loss functions

  最后一步是定义变换后的源点集 T（Si） 和目标点集 Gj 之间的损失函数，由于点云的无序性，这两个点集之间没有直接的对应关系。因此，应该需要两个点集之间的距离度量，而不是图像配准中使用的点/像素损失。此外，合适的指标应该是可微分的，并且计算效率很高。对于3D点集生成，Fan等人[33]首先提出了倒角距离损耗，在实践中得到了广泛的应用。配准问题可视为源点集和目标点集两个分布之间的统计对齐。我们将目标点集视为高斯混合模型的质心，并将转换后的源点集作为数据拟合到此GMM模型中，以便我们可以最大化GMM的可能性。

  倒角距离（C.D.）。倒角损耗是在两个不对应的点集上定义的简单而有效的指标。它在许多任务中不需要相同数量的点，并且在实践中提供了高质量的结果。我们将变换的源点集 T（S） 和目标点集 G 上的倒角损耗定义为：

F. Model settings

3. Eeperiments

  在本节中，我们实施了一组实验，以从不同方面（即准确性和时间）验证我们提出的PR-Net用于非刚性点集配准的性能。在第3 A节中，我们讨论了如何准备实验数据集。在第3 B节中，我们将PR-Net与非基于学习的非刚性点集注册方法进行了比较。在第3 C节中，我们验证了PR-Net针对不同程度的几何变形的鲁棒性。在第3 D节中，我们验证了PR-Net对不同类型噪声的鲁棒性。在第3 E节中，我们进一步验证了PR-Net可以处理各种类型数据集的注册任务。

A. Dataset preparation

  点云数据通常具有几何结构变化，存在各种噪声（例如异常值，缺失点），这给点集配准带来了挑战。有效的配准解决方案应针对这些噪声的存在而具有鲁棒性，以提供所需的几何变换。因此，为了评估PRNet的性能，我们将公认的噪声模拟到原始点集，以准备实验数据。为了准备几何结构变化，我们从点集中随机选择一定数量的样本，并将它们用作薄板样条（TPS）变换的控制点。零均值高斯叠加到每个控制点，以模拟从其原始位置的随机漂移。然后应用TPS合成具有不同结构变化水平的变形点集。上述高斯标准差的1=2用于测量变形水平。为了准备位置漂移（P.D.）噪声，我们对点集的每个样本应用了零均值高斯。P.D.噪声水平定义为高斯的标准差。为了准备数据不完整性（D.I.）噪声，我们从整个点集中随机删除一定量的点。D.I.噪声水平定义为消除点与整个集合的比率。为了准备数据异常值（D.O.）噪声，我们将零均值高斯生成的一定量的点随机添加到点集。D.O. 噪声水平定义为添加点与整个点集的比率。对于所有测试，我们使用一对点集之间的倒角距离（C.D.）来提供定量分数来评估配准性能。

B. Comparison to Non-learning based Approach

  与之前的努力不同，所提出的PR-Net是一种基于学习的非刚性点集配准方法，可以学习配准模式，直接预测点集对齐的非参数几何变换。作为一种基于学习的预测非刚性注册的方法，在PR-Net与其他现有的非刚性迭代注册方法之间进行直接比较是不适用的。为了将我们的方法与非基于学习的迭代方法（即相干点漂移（CPD）[28]）进行比较，我们设计了如下实验来评估时间和准确性性能。

  实验设置： 我们进行测试，将PRNet与非基于学习的方法进行比较。相干点漂移（CPD）[28]是一种高度认可的非刚性点集配准方法。在该测试中，我们合成了变形水平为0：5的2D变形鱼数据，以准备10k训练数据集和10k测试数据集。我们的公关网络在应用于10k测试数据集之前首先经过训练。CPD 直接应用于 10k 测试数据集。

  结果： 实验结果列于表I中。第二列显示注册后所有 10k C.D. 的均值和标准差。第三列显示用于注册 10k 对点集的时间。正如我们所期望的那样，经过训练，PR-Net可以执行实时的非刚性点集注册。用于注册 10k 对点集的时间约为 8 秒，比 CPD 用于注册整个 10k 数据集的点集所花费的时间（12 小时）少了几个数量级。这是因为 CPD 需要反复启动一对新点集的新迭代过程。PR-Net通过为非刚性点注册提供更快的解决方案，明显获得了非基于学习的方法的优势。我们还想指出，在具有比较性能的10k数据集上训练我们的PR-Net大约需要13分钟，这也明显少于CPD使用的22小时。

  除了效率（配准速度）之外，我们还对效率感兴趣，该效能表明PR-Net可以从训练数据中推广到直接预测非刚性点集配准所需的几何变换的程度。比较训练和测试 C.D. 结果列在第二列中。训练和测试 C.D. 之间的微小差异表明，从训练到测试，性能下降相对较小。此外，我们注意到PR-Net的C.D.的标准偏差小于CPD的标准差，这表明PR-Net可以提供更稳定的注册，因为它获得了对以前看不见的数据正确适应的泛化能力。相比之下，CPD独立处理每对新的点集，并且必须从一开始就重复注册它们。

C. Robust to Geometric Deformation

  在这个实验中，我们详细研究了PR-Net在不同变形水平下对2D形状进行点集配准的能力。该实验显示了对我们模型记录看不见的高度变形测试形状的性能和能力的基本评估。

  实验设置： 我们进行测试，以验证PR-Net在具有不同几何变形水平的数据上的表现。在该测试中，我们合成了变形水平为0：3至1：5的二维变形鱼类数据，以涵盖良好的形状结构变化范围。变形的2D鱼形状如图4所示。对于每个变形级别，我们将20k点集模拟为用于训练的目标点集，并模拟额外的10k点集进行测试。定量结果示于表II中。

  结果： 训练后，PR-Net用于注册具有不同变形水平的测试数据集。定量实验结果列于表II中。第二列列出了具有不同变形水平的已注册源点和目标点集对的 C.D. 分数。从评估中可以看出，当变形水平小于1：0且倒角距离保持在0：0153时，PR-Net在非刚性点集配准上可以实现令人印象深刻的性能，如表II所示。然而，当变形水平达到1：5时，C.D.从0：0153到0：1267有一个巨大的跳跃。这表明我们模型的配准容量剂量具有明显的上键。一旦变形水平达到或高于该上键，PR-Net的性能就会大大降低。我们进一步检查定性结果，以更好地了解PR-Net的表现。

  相应的定性结果如图 4 所示，该图说明了配准前后的点集对。从图4中，我们可以清楚地看到，变换后的源点集（蓝色）在结构上与目标点集（红色）对齐良好，这验证了PR-Net的配准能力。特别是当变形水平等于或小于1：0时，如4所示，PR-Net几乎完美地对齐了源点集和目标点集。如前所述，当变形水平达到1：5时，定量结果会急剧下降。如图4所示，对于这种1：5的变形水平，2D鱼的几何结构明显恶化，这在确定所需的几何变换时带来了更多的挑战。即使对于人类来说，也很难说出目标点集的几何含义（图4中的红色形状）。但这也表明，TPS作为参数化几何变换模型，在我们的测试中对较大的结构变化进行建模时可能会受到限制。我们在单独的研究报告中进一步研究了更复杂的几何变换模型或无模型几何变换。

D. Robust to Data Noise

  在使用激光雷达传感器和激光扫描仪等传感器时，不可避免地会产生各种类型的噪声来获取数据。有效的非刚性配准方法除了在上一节中讨论的结构变化之外，还应该对这些噪声具有鲁棒性。因此，在本节中，我们重点测试PR-Net从噪声数据集中预测非刚性注册的能力。

  实验设置：在本实验中，我们进行了一组测试，以验证PR-Net针对不同类型的数据噪声（包括PD噪声，D.I.噪声和D.O.噪声）的性能。我们通过向变形水平为0.5的目标点引入三种具有五个不同水平的噪声来模拟噪声数据。噪声级别在数据准备部分中定义。图 5 显示了噪声目标点集（红色）与源点集（蓝色）的对比。定量结果在表III中显示。

  结果：图4显示了PR-Net的性能，并提供了干净的数据进行比较。给定源点集（红色）和目标点集（蓝色），PR-Net成功地转换了源点集，使其与干净数据的目标点集对齐。

  为了研究PR-Net在噪声数据上的表现，在图5（A）中，我们将D.I.噪声应用于目标点集，方法是越来越多地去除点样本，如连续从左到右所示。注册结果表明，在这种情况下，我们的PR-Net能够稳健地将源点集（红色）与目标（蓝色）对齐。即使对于D.I.噪声水平为0.6且大部分目标形状缺失的情况，PR-Net仍然可以对齐目标鱼的顶部和尾部等其余部分。一个有趣的观察结果是，对于缺失的部分，即使没有任何目标信息，变换后的源点集似乎也是自然的，并保留了原始的几何意义。例如，当D.I.水平达到0.6时，变换后的源点集不仅与目标匹配，而且形状通常仍然具有缺失部分的几何含义，并且可以很容易地识别为"鱼"形状。如表III所示，定量结果表明，当D.I.水平从0.05提高到0.6时，C.D.线性增加，表明PRNet对D.I.噪声的抵抗力很高。

  在图5（B）中，我们通过增加高斯噪声来将P.D.噪声应用于目标点集，如连续从左到右所示。如图5所示，尽管目标点集的位置被高斯噪声大幅漂移，但我们的PR-Net仍然有效地预测了所需的几何变换。特别是当P.D.噪声水平高于0.15时，即使鱼形的边界急剧漂移，变换后的源形状也具有平滑的边界，并且与目标形状的对齐度可接受。从定量结果来看，如表III所示，当PD噪声水平低于0.15时，注册对的C.D.小于0：01，这表明几乎完全对准。D.O.噪声被添加到图5（C）中设置的目标点，如连续从左到右所示。配准结果表明，当 D.O. 噪声水平小于 0.3 时，源形状和目标形状之间的对齐方式不会受到目标集中异常值点的显著影响。定量结果表明，当D.O噪声水平为0.3时，注册对的CD保持在0.0103以下。然而，当D.O.噪声水平高达0.5时，注册对的C.D.从0.0103跃升至0.0195，这表明PRNet开始遭受受大量添加异常值影响的显着性能下降。

E. Results on Data Variety

  在这个实验中，我们进一步研究了PR-Net在不同变形水平下对其他2D/3D形状执行点集配准的能力。我们对非等值线的2D形状以及3D形状的点集配准特别感兴趣，因为随着3D采集和计算资源的最新进展，3D数据在社区中引起了极大的关注。

  实验设置：我们进一步进行测试，以验证PR-Net在各种形状和图案的数据集上的表现，例如骨骼，骷髅，手，脸（3D形状）和猫（3D形状）。对于每种类型的数据集，具有不同程度的几何变形，我们将20k点集模拟为用于训练的目标点集，并模拟额外的10k点集进行测试。对于 3D 形状，我们从网格数据集中随机采样点。当我们在3D形状上训练PR-Net时，我们只从输入3D模型的20K点中抽取了512个，并从125（5 * 5 * 5）控制点中采样了学习描述符张量和相关张量，这已经提供了合理的配准。由于计算的复杂性，性能与计算效率之间存在明显的权衡。我们随机选择几个变形水平为0.5的样品，以可视化图6和图7中的对准结果。我们在表IV中给出了注册的定量评估，其中显示了注册对之间C.D.的平均值和标准偏差。

  结果：基于从测试数据集中选择的示例，PR-Net在各种类别的2D形状（例如头骨，骨骼和手）中表现出强大的配准性能，如图6所示，并且用于比较这三种不同形状的相应定量测试结果如表IV所示。从注册前到注册后CD值的降低表明，PR-Net可以成功地对齐各种形状的可变形对。如图 6 所示，对于当前变形水平 0.5，PRNet 显示了不同形状的鲁棒性能。它们的注册结果之间没有明显的差异。当放大以进行更详细的观察时，仍然可以注意到缺失的配准部分，例如第2行中头骨的上行。如表IV所示，为了比较这三种形状的定量结果，当变形水平较低时，头骨形状的结果略差于其他两种形状。但对于更高的变形水平，骷髅形状的性能变得与其他两种形状进行比较。这验证了PR-Net在存在不同几何变形水平的情况下，在各种形状上对非刚性点集配准的稳健性能。在图 7 中，我们演示了 PR-Net 适用于 3D 点集配准。如图 7 所示，对于目标形状的一般部分，我们的模型可以正确预测配准变换以对齐它们。至于调整源点集和目标点集的更微妙的部分，仍有空间来提高PR-Net的性能。提高性能的直接方法是增加表面采样点的数量，以及用于学习具有可接受计算成本的形状描述符张量的控制点。不同类别形状的比较结果表明了PR-Net的一致性能。

4. Conclusion & Discussion

  本文为我们的研究社区介绍了一种基于学习的非刚性点集注册的新方法。与非基于学习的方法（例如相干点漂移）相比，基于学习的点集配准方法很少被研究（据我们所知，PR-Net可能是第一个可以从训练中实际推广到预测非刚性点集配准的几何变换的工作）。其背后可能的原因是：1）点云数据的不规则格式给标准可学习运算符（例如离散卷积）带来了挑战，使其对非网格结构化数据进行操作以进行点特征学习;2）定义适当的几何变换以将源点集转换为目标点并不明显。PR-Net为特征学习的解提供了形状描述符张量和相关张量，并使用薄板样条对几何变换进行建模。虽然PRNet能够学习点注册，但仍有一些挑战有待解决。首先，我们目前的PR-Net间接使用常规网格来辅助形状特征学习。连续运算符可以直接应用于点上进行特征学习，将更适用于点注册。其次，PR-Net使用TPS对几何变换进行建模。虽然它预测了中等变形形状的令人印象深刻的配准性能，但对于具有大变形的形状，不令人满意的性能促使我们研究无模型几何变换（例如位移场）。将PR-Net扩展到其他数据模式，如2D图像和3D体积数据，也将是非常有趣的。我们将在单独的论文中报告这些研究成果。