ICRA 2019最佳论文公布 李飞飞组的研究《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Rep

机器人领域顶级会议 ICRA 2019 正在加拿大蒙特利尔举行（当地时间 5 月 20 日-24 日），刚刚大会公布了最佳论文奖项，来自斯坦福大学李飞飞组的研究《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks》得到了最佳论文。

图源：https://twitter.com/animesh_garg/status/1131263955622604801

ICRA 最佳论文奖项设立于 1993 年，旨在表彰最优秀的论文。据了解，今年一共有三篇论文入围最佳论文奖项：

• 论文 1：Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks
• 做者：Michelle A. Lee, Yuke Zhu, Krishnan Srinivasan, Parth Shah, Silvio Savarese, Li Fei-Fei, Animesh Garg, Jeannette Bohg（斯坦福大学）
• 论文连接：https://arxiv.org/abs/1810.10191
• 论文 2：Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images
• 做者：Kuniyuki Takahashi, Jethro Tan（Preferred Networks 公司）
• 论文连接：https://arxiv.org/abs/1803.03435
• 论文 3：Variational End-to-End Navigation and Localization
• 做者：Alexander Amini, Guy Rosman, Sertac Karaman, Daniela Rus（MIT、丰田研究院）
• 论文连接：https://arxiv.org/abs/1811.10119

ICRA 最佳论文

其中，斯坦福大学 Michelle A. Lee、Yuke Zhu、李飞飞等人的论文《Making Sense of Vision and Touch: Self-Supervised Learning of Multimodal Representations for Contact-Rich Tasks》荣获最佳论文奖项。

摘要：在非结构化环境中执行须要大量接触的操纵任务一般须要触觉和视觉反馈。可是，手动设计机器人控制器使其结合具有不一样特征的模态并不容易。尽管深度强化学习在学习高维输入的控制策略时得到了很大成功，但因为样本复杂度，这些算法一般很难在真实机器人上面部署。

该研究使用自监督学习感知输入的紧凑、多模态表征，而后使用这些表征提高策略学习的样本效率。研究者在植入任务上评估了该方法，结果代表该方法对于外部扰动具有稳健性，同时能够泛化至不一样的几何、配置和间隙（clearances）。研究者展现了在模拟环境中和真实机器人上的结果。

该研究提出的多模态表征学习模型架构以下图所示：

图 2：利用自监督进行多模态表征学习的神经网络架构。该网络使用来自三个不一样传感器的数据做为模型输入：RGB 图像、力矩传感器在 32ms 窗口上读取的力矩数据、末端执行器的位置和速度。该模型将这些数据编码并融合为多模态表征，基于这些多模态数据可学习用控制器执行须要大量接触的操纵。这一表征学习网络是经过自监督端到端训练获得的。

控制器设计

下图展现了该研究的控制器架构，该架构可分为三部分：轨迹生成、阻抗控制和操做空间控制。

实验

下图展现了该模型在模拟环境中的训练。图 a 展现了 TRPO 智能体的训练曲线：

图 4：模拟植入任务：对基于不一样感知模态数据训练获得的表征进行模型简化测试。研究者将使用结合了视觉、触觉和本体感受的多模态表征训练获得的完整模型和未使用这些感知训练的基线模型进行了对比。b 图展现了使用不一样反馈模态的部分任务完成率，其中视觉和触觉模态在接触丰富的任务中发挥不可或缺的做用。

下图展现了在真实环境中的模型评估。

图 5：a）在真实机器人实验及其间隙上使用 3D 打印 peg。b）定性预测：研究者对来自其表征模型的光流预测示例进行可视化。

下图展现了在真实机器人上对该模型的评估，同时展现了该模型在不一样任务设置上的泛化效果。

最佳论文入围论文简介

另外两篇入围最佳论文的研究分别是来自日本 Preferred Networks 公司的《Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images》，以及来自 MIT 和丰田研究院的《Variational End-to-End Navigation and Localization》。

论文：Deep Visuo-Tactile Learning: Estimation of Tactile Properties from Images

摘要：基于视觉估计触觉特性（如光滑或粗糙）对与环境进行高效互动很是重要。这些触觉特性能够帮助咱们决定下一步动做及其执行方式。例如，当咱们发现牵引力不足时能够下降驾驶速度，或者若是某物看起来很光滑咱们能够抓得更紧一些。

研究者认为这种能力也会帮助机器人加强对环境的理解，从而面对具体环境时选择恰当的行为。所以他们提出了一种模型，仅基于视觉感知估计触觉特性。该方法扩展了编码器-解码器网络，其中潜变量是视觉和触觉特征。

与以前的研究不一样，该方法不须要手动标注，仅须要 RGB 图像及对应的触觉感知数据。全部数据都是经过安装在 Sawyer 机器人末端执行器上的网络摄像头和 uSkin 触觉感知器收集的，涉及 25 种不一样材料的表面。研究者展现了该模型能够经过评估特征空间，泛化至未包含在训练数据中的材料，这代表该模型学会了将图像和重要的触觉特性关联起来。

该研究提出的网络架构图示。

论文：Variational End-to-End Navigation and Localization

摘要：深度学习完全变革了直接从原始感知数据学习「端到端」自动车辆控制的能力。虽然最近在处理导航指令形式的扩展方面取得了一些进步，但这些研究还没法捕捉机器人全部可能动做的完整分布，也没法推断出机器人在环境中的定位。

在本文中，研究者扩展了可以理解地图的端到端驾驶网络。他们定义了一个新的变分网络，该网络可以根据环境的原始相机数据和更高级路线图进行学习，以预测可能的控制指令的完整几率分布，以及可以在地图内指定路线上导航的肯定性控制指令。

此外，受人类驾驶员能够进行粗略定位的启发，研究者根据地图和观察到的视觉道路拓扑之间的对应关系，制定了如何使用其模型来定位机器人的方案。研究者在真实驾驶数据上评估了该算法，并推断了在不一样类型的丰富驾驶场景下推断的转向命令的稳健性。另外，他们还在一组新的道路和交叉路口上评估了其定位算法，并展现了该模型在没有任何 GPS 先验的状况下也具有粗略定位的能力。

模型架构。

ICRA 其余奖项

除了最佳论文，ICRA 大会还设置了最佳学生论文，以及自动化、认知机器人、人机交互等分支的最佳论文。

其中得到最佳学生论文提名的研究有：

• 论文 1：Closing the Sim-to-Real Loop: Adapting Simulation Randomization with Real World Experience
• 做者：Yevgen Chebotar, Ankur Handa, Viktor Makoviichuk, Miles Macklin, Jan Isaac, Nathan Ratliff, Dieter Fox（英伟达、南加州大学、哥本哈根大学、华盛顿大学）
• 论文连接：https://arxiv.org/abs/1810.05687
• 论文 2：Online Multilayered Motion Planning with Dynamic Constraints for Autonomous Underwater Vehicles
• 做者：Eduard Vidal Garcia, Mark Moll, Narcis Palomeras, Juan David Hernández, Marc Carreras, Lydia Kavraki（西班牙赫罗纳大学水下机器人实验室、美国莱斯大学 Kavraki 实验室）
• 论文连接：http://www.kavrakilab.org/publications/vidal2019online-multilayered-motion-planning.pdf
• 论文 3：Drift-free Roll and Pitch Estimation for High-acceleration Hopping
• 做者：Justin K. Yim, Eric K. Wang, Ronald Fearing（加州大学伯克利分校）
• 论文连接：https://people.eecs.berkeley.edu/~ronf/PAPERS/jyim-icra2019.pdf