avatar

Junyuan Lu(陆俊元)

MPhil student at ZJU Intelligent Autonomous Systems Lab

论文简介——Tac2Structure: Object Surface Reconstruction Only Through Multi Times Touch

引言

  机械臂末端执行器与未知被操纵物体接触时,外部视觉观测难免存在遮挡,机械臂还能准确感知物体吗?
​IASLAB的最新研究Tac2Structure给出了非常肯定的答案。受人类能仅凭触觉感知未知物体表面纹理的能力的启发,触觉在机器人探索环境中发挥着至关重要的作用,特别是在视觉难以应用或不可避免的遮挡的场景中。

1

图1. Tac2Structure 算法.
这项工作解决了利用视触觉传感器高精度重建物体表面的问题。
在不依赖任何外部设备的情况下,可以仅通过多次触摸就能低误差地重建未知物体的表面。

  据我们所知,这项工作是第一个在不依赖外部观测设备的情况下实现物体表面低漂移重建的工作。 如图1所示,该算法可以为机器人提供准确的接触物体表面纹理信息。 它可以增强机器人对未知物体的认知能力,提高机器人在陌生场景或有视觉遮挡的场景中执行任务的鲁棒性。 总的来说,所提出的算法有以下贡献:

  • 自我运动估计:可以准确估计传感器的自我运动,而不依赖于其他外部传感器提供的准确观测。
  • 压力自适应:可以克服传感器精度受采样压力影响的固有缺点。
  • 低漂移全局重建:可以减少累积误差,达到毫米级精度。

研究背景

  目前,机器人完成操作任务强烈依靠被操纵对象的准确信息。通常情况下,视觉信息足以在大多数场景下满足感知、跟踪或识别等需求。然而,视觉方法仍然具有许多缺陷,诸如欠精细和易遮挡。常用的深度相机通常只有厘米级别准确度的深度测量精度,且在机器人操作任务中,当机器人与物体发生实际接触时,遮挡又是不可避免的。为了解决这些问题,一种新型的基于图像的触觉传感器常被添加至机械臂的末端来感知接触物体的几何形状。该传感器可以精细地感知接触表面的纹理并输出高分辨率图像,可以使用光度立体算法将其图像转换为 3D 点云。

  受到人类阅读盲文的启发,通过多次触摸即可将各种信息组合在一起,机器人也可以使用点云配准算法,融合多帧点云,并重建物体的表面。然而,目前大多数研究都是通过外部设备、获得传感器的位姿变换来提高融合精度,严重限制了应用场景。 由于采样压力的影响,特征匹配得到的重建纹理在深度上缺乏一致性,容易产生断裂面、不均匀的现象,导致重建精度显着降低。 此外,在对尺度至少为传感器有效采样面积十倍的大尺寸物体表面进行重建时,多帧融合产生的累积误差往往难以接受,严重影响精度。

  为此,我们提出了一种名为Tac2Structure的新颖框架,用于仅基于视触觉传感器同时进行传感器定位和物体表面重建。

实验方法

  首先,我们使用点云配准算法来估计传感器在多采样帧之间的位姿变换,使得全局重建过程不依赖于外部设备。 其次,提出了自适应压力校正算法,增强帧间深度的一致性,降低实际采样操作的难度。 最后,利用基于深度学习的闭环检测方法和位姿图优化算法来减少累积误差,提高准确率。

1

图2. Tac2Structure 框架。
为了重建物体的表面,我们设计了一个包含三个模块的系统:
1)局部触觉地图构建,2)压力校正,3)全局触觉地图构建。
最后,我们可以获得表面重建结果和每个采样帧的传感器位姿。

  所提出的重建框架如图2所示。通过接收来自触觉传感器的多帧输入,我们的框架可以准确估计传感器的自我运动并以低漂移重建物体表面。 我们的框架由三个关键子模型组成。

  • 局部触觉图构建:在该模块中,给定触觉图像,输出其相应的局部触觉图,表示局部接触区域的三维形状。 我们使用多层感知器(MLP)模型和二维泊松求解器来实现这一功能。我们提供了一个实用的工具箱来提高训练数据集标注的效率,详见网页
  • 自适应压力矫正:在该模块中,我们根据统计方法减轻手动按压带来的压力不一致。 对由压力不一致引起的深度误差进行解释并依次提出自适应校正算法。
  • 全局触觉图构建:在该模块中,给定一系列校正后的局部触觉图,我们使用点云配准算法、基于深度学习的闭环检测算法和位姿图优化技术来重建全局触觉图。
image-20231015163725716
image-20231015163707545

image-20231015163635514


实验结果

  首先是局部触觉重建,如图所示,我们可视化了 “ZJU” 3D打印件的一些局部触觉地图。从左到右分别是视觉图像、触觉图像、局部触觉地图。

image-20231015163826578

  其次是压力矫正算法,如图所示,我们可视化了压力校正前后全局触觉地图构建结果。 从左到右分别是3D打印的‘ALLCCT’和‘龙凤’的重建结果的前视图、侧视图和顶视图(有\没有压力校正)。所提出的深度校正算法显著改善了重建模型的视觉效果。

image-20231015163839792

  然后是回环检测算法,如图所示,我们可视化了误报闭环检测结果的消除过程。 从左到右分别是基于CNN的原始检测结果(保留余弦相似度排名前20%)、去除太近的候选帧后的结果、进一步去除太远的候选帧后的最终结果。

image-20231015163859591

  然后是位姿图优化算法,如图所示,我们可视化了 Tac2StructureTac2Structure(无位姿图优化) 的全局触觉地图重建结果。 从左到右分别是“龙凤”和“盘龙”3D打印件全局触觉重建结果的前视图、侧视图和改进区域特写。位姿图优化技术显着降低了重建的累积误差,且同时适用于平面和非平面物体。

image-20231015163913320

  表格显示,位姿图优化后,所有性能均有所提高,表明位姿图优化算法的有效性。实验结果验证了我们的Tac2Structure框架中位姿图优化技术的必要性和有效性,可以减少累积误差并提高全局重建的准确性。

image-20231015165044664

  最后是消融实验,表格显示,深度校正算法可以显著提高平坦度。 相比之下,位姿图优化算法可以减少里程计的累积误差,减小RPE。将两种算法结合起来可以减少重建结果与CAD模型之间的偏差,表明整个算法系统可以以毫米级的精度重建物体表面。

image-20231015165409932

  更多Demo参见视频链接

总结

  我们提出了一种低累计误差框架 Tac2Structure,用于仅依赖基于图像的触觉传感器进行大型物体的表面重建。 我们的工具箱有助于高效地完成训练数据集的注释。 使用经过训练的 MLP 模型和快速泊松解算器,可以将触觉图像准确地转换为局部触觉图。 通过联合使用自适应压力校正算法和点云配准算法,我们的方法构建了物体的全局触觉图。 我们使用基于深度学习的闭环检测算法和位姿图优化算法进行大规模物体表面重建,以减少累积误差和漂移。 总的来说,在不需要额外的观测设备的情况下,我们的框架可以达到毫米级别的重建精度,且整体操作过程更简单,成本更便宜,适用于更广泛的应用场景。