TactileSGNet: A Spiking Graph Neural Network for Event-based Tactile Object Recognition

摘要

触觉感知对于各种机器人任务至关重要，包括抓取和手持操作。灵活的、事件驱动的电子皮肤的新进展可能很快赋予机器人类似于人类的触觉感知能力。这些电子皮肤对变化（例如压力、温度）异步响应，并且可以不规则地布置在机器人的身体或末端执行器上。然而，这些独特的特征可能会使当前的深度学习方法（例如卷积特征提取器）不适用于触觉学习。在本文中，我们提出了一种新颖的脉冲图神经网络，用于基于事件的触觉对象识别。为了利用触觉的局部连通性，我们提出了几种在图形结构中组织触觉数据的方法。基于构建的图，我们开发了一个脉冲图卷积网络。脉冲神经网络的事件驱动特性使其更适合处理基于事件的数据。在两个触觉数据集上的实验结果表明，所提出的方法优于其他最先进的脉冲方法，在对各种不同的家庭物体进行分类时实现了大约 90% 的高精度。

1.引言

物体识别是一项基本的感知技能，是许多任务的基础，从开车到准备饭菜。 机器视觉的进步为机器人提供了出色的视觉对象识别能力（例如，[1]、[2]）。 但是，虽然视觉是一种重要的视觉形式，但它可能无法区分具有相似视觉特征或在不太有利的条件下的物体，例如在低光照或遮挡下。 在这种情况下，触觉传感可以提供重要信息（例如，纹理、粗糙度、摩擦力），这些信息已应用于各种任务，包括对象识别 [3]、[4]、[5]、滑动检测 [6]、 和纹理识别[7]。

这项研究的重点是使用事件驱动的触觉传感器进行基于触摸的物体识别这一具有挑战性的任务 [8]、[9]。 先前的工作（例如，[7]、[4]、[3]）主要使用标准的同步触觉传感器和传统的机器学习方法（例如，卷积神经网络 [10]）。 然而，事件驱动的传感器在操作和提供的数据方面本质上是不同的。 与基于事件的相机 [11]、[12] 类似，事件触觉传感器异步报告环境的变化，因此提供基于事件的脉冲，其中每个触觉独立于其余部分触发。 与标准的基于同步帧的传感器相比，事件驱动传感可以实现更高的功率效率、更好的可扩展性和更低的延迟。 然而，使用这些传感器进行学习仍处于起步阶段 [13]。

在本文中，我们介绍了 TactileSGNet，这是一种使用基于事件的触觉数据进行对象识别的新型脉冲图神经网络。 与用于网格结构实值数据的卷积神经网络相比，我们的模型对图结构的脉冲数据进行操作。 这提供了两个关键优势：首先，该模型可以更好地利用可能高度不规则的局部触觉结构，例如，具有生物启发的配置或缠绕在末端执行器周围的灵活传感器。 其次，脉冲神经网络（SNN）也是事件驱动的，可以直接处理传感器提供的基于脉冲的数据； 这绕过了从离散事件到实值帧的潜在昂贵转换。 此外，SNN 可以在节能的神经形态处理器上运行，例如 IBM TrueNorth [14] 和 Intel Loihi [15]。

据我们所知，TactileSGNet 是第一个用于触觉数据的事件驱动图神经网络。 一个相关的模型是最近提出的 TactileGCN [16]，它使用图卷积网络 (GCN) [17] 进行触觉对象识别。 这项工作的主要区别在于 TactileSGNet 是事件驱动的（带有脉冲神经元），我们利用拓扑自适应图卷积网络（TAGCN）[18]； TAGCN 之前已被证明可以实现卓越的性能，同时与标准 GCN 相比，计算效率更高。 事实上，我们使用 NeuTouch 传感器 [8] 在两个现有的基于事件的触觉数据集上进行的计算实验表明，利用带有脉冲神经元的 TAGCN 可以获得优于其他流行架构的性能。 我们还尝试了构建触觉图形的替代方法； 结果表明，自动化方法，特别是最近邻和最小生成树技术，可以实现更好的性能。