开放世界中机器人的挑战：从感知到协作的技术突破
国际机器人与自动化会议（ICRA 2022）本周举行，某中心是其主要银牌赞助商之一。值此之际，某中心科学与三位顶尖机器人专家进行了一次对话，探讨了在现实世界场景中构建与人类交互的机器人系统所面临的挑战。
Siddhartha (Sidd) Srinivasa 是某中心机器人人工智能部门总监，负责管理协助某中心履约中心员工的自主机器人的算法，包括能够拾取和包装产品的机器人，以及将产品从货架运送到包装站的自主推车。
Tye Brady 是全球某中心机器人首席技术专家，协助制定某中心的机器人战略，并负责机器人领域的大学外联工作。
Philipp Michel 是某中心 Scout 的高级应用科学经理。Scout 是一种自主配送机器人，以步行速度在公共人行道上移动，目前正在美国的四个州进行实地测试。
问：你们各自解决的问题有很多不同之处，但我想知道有哪些共同点。
Sidd Srinivasa：让我们的问题变得极其困难的是，我们生活在一个开放的世界里。我们甚至不知道可能会面对什么样的输入。在我们的履约中心，我需要操作超过2000万件物品，而且每天还会增加数十万件。很多时候，我们的机器人完全不知道它们在拾取什么，但它们需要能够在不损坏物品的情况下小心拾取，并轻松打包。
Philipp Michel：对于 Scout 来说，我们在人行道上遇到的物体和环境都是挑战。我们在美国四个不同的州运行个人配送设备。天气条件、光照条件——存在着巨大的变异性，我们一开始就明确想要解决这些问题，让自己暴露在所有那些困难的问题面前。
Tye Brady：在开发我们的履约机器人技术时，我们有一个显著优势，即我们是在半结构化环境中运行的。我们可以制定“道路规则”。了解环境确实有助于科学家和工程师理解我们需要移动、操作、分拣和识别以完成任何订单的物品。这是一个显著优势，因为它为我们追求技术开发计划提供了真实世界的项目背景。
Philipp Michel：另一个共同点是，我们都非常依赖从数据中学习来解决问题。对于 Scout 来说，这就是机器人在执行任务时接收到的所有真实世界数据，我们不断尝试迭代，为感知、在一定程度上为定位，最终也为导航开发机器学习解决方案。
Sidd Srinivasa：是的，我完全同意。我认为机器学习和自适应控制对于实现超线性扩展至关重要。如果我们部署了数十、数百、数千个机器人，我们不能让数十、数百、数千名科学家和工程师来为它们工作。我们需要在这方面实现超线性扩展。
我认为开放世界迫使我们思考持续学习。我们的机器学习模型是在某些输入数据分布上进行训练的。但由于开放世界，我们会遇到所谓的协变量偏移，即你看到的数据与训练分布不匹配，这常常导致你的机器学习模型变得不合理地过度自信。
所以我们做了很多工作来创建“看门狗”，可以识别输入数据分布何时偏离了其训练时的分布。其次，我们进行所谓的“重要性采样”，以便能够挑出发生变化的那些部分，并重新训练我们的机器学习模型。
Philipp Michel：这又是我们希望在不同地点进行实地测试的原因之一，这样我们就能尽快暴露于那些变化之下，并迫使我们开发出能够处理所有这些新数据的解决方案。
Sidd Srinivasa：这一点很棒，我想继续强调。拥有多个机器人的优势之一在于，一个系统能够识别出某些东西发生了变化，进行重新训练，然后将这些知识分享给其他机器人。
我们的一个分拣机器人就有这样的例子。世界某个地方的机器人注意到了一种新的包裹类型。一开始它非常挣扎，因为它从未见过这种包裹，并且识别出了自己的困难。解决方案被修正后，它能够将模型传输给世界上所有其他机器人，以至于在这种新包裹类型到达某些地点之前，那些机器人就已经准备好应对了。所以只出现了一个小问题，但这个小问题只发生在一个地点，所有其他地点都已准备就绪，因为这个系统能够自我重新训练并分享信息。
Philipp Michel：我们的机器人也做类似的事情。如果我们遇到以前未曾遇到的新型障碍物，我们会尝试调整模型来识别和处理它们，然后部署到所有机器人上。
让我夜不能寐的事情之一是，我们在人行道上遇到的东西可能三年内都不会再见到。例如，人们草坪上用作万圣节装饰的特定石像鬼。或者有人拆解了一张带有遮阳伞的野餐桌，以至于任何机器学习算法都无法将其识别为野餐桌。
所以我们的一些科学研究是关于如何在检测到你不应该驶过的通用物体，和非常具体的物体之间取得平衡。如果是一个打开的检修井盖，我们需要非常擅长识别它。而如果只是一个随意的箱子，我们可能不需要一个特定的箱子分类体系——只需要知道这是不应该穿越的东西即可。
Sidd Srinivasa：另一个挑战是，当你确实改变了模型时，可能会产生无法预见的后果。你的模型可能会以某种方式改变，这种改变也许不影响你的感知，但可能会改变机器人的制动方式，从而导致两个月后轴承磨损。我们处理的是这些端到端系统，未来很多有趣的研究将在于能够理解改变系统某些部分对整个系统性能的影响。
Philipp Michel：我们花了很多时间思考应该在多大程度上将机器人技术栈的不同部分分隔开来。更紧密地整合它们有很多好处。但这也有个限度。一个极端是从摄像头到电机扭矩的那种端到端学习，这在任何现实世界的机器人应用中都非常具有挑战性。然后是传统的机器人技术栈，它被很好地分离为定位、感知、规划和控制器。
我们还花了很多时间思考技术栈应该如何随着时间的推移而演进。当我们更紧密地耦合其中一些部分时，我们能获得什么样的性能提升？同时，我们希望拥有一个尽可能易于解释的系统。我们投入了大量思考，如何在保持所需解释性和安全功能水平的同时，利用更多学习组件在技术栈中的集成。
Sidd Srinivasa：说得很对。我完全同意 Philipp 的观点，“一个模型统治一切”可能未必是正确答案。但很多时候，我们最终会构建共享一个公共主干，但针对不同应用有多个“头”的机器学习模型。一个物体是什么，分割一个物体意味着什么，对于拣选、上架或包装来说可能是相似的，但每个任务可能都需要在主干之上放置专门的头来处理这些专门的任务。
Philipp Michel：我们考虑的一些因素包括电池、续航、温度、空间和计算限制。因此，我们需要在我们使用的模型、如何优化它们，以及如何尽可能利用跨模型的共享主干（如 Sidd 提到的，为不同任务配备不同的“头”）方面非常高效。
Tye Brady：Sidd 和 Philipp 描述的好处在于，总是有人可以提供帮助。机器人可以通过某中心云服务向另一个机器人请求不同的样本或视角，但真正的力量来自于向我们的员工寻求帮助，了解如何感知或解决问题。这一点非常重要，因为机器人可以从这种互动中学习，让我们的员工能够专注于更高级别的任务，也就是你我称之为常识的事情。这在机器人世界并不容易，但我们正在设计我们的机器以理解意图和重新定向，从而强化我们的机器人对世界的系统模型。这是我们三位的共同点。
问：当我问及你们项目之间的共性时，我想到的一件事是，你们的机器人都在与人类相同的环境中运行。这如何使问题复杂化？
Tye Brady：当我们正确地设计机器时，人类永远不会使问题复杂化；他们只会让问题变得更容易。我们的责任是制造能够通过提供安全保障和便利来增强人类环境的机器。一台设计良好的机器可能会填补员工在没有机器时无法完成的缺口。无论如何，我们的机器人技术应该让我们更聪明、更有能力，并更自由地去做对我们最重要的事情。
Philipp Michel：我们与客户和社区的互动对我们至关重要。因此，我们在客户体验方面做了大量工作，试图使其尽可能令人愉悦。
另一件重要的事情是，机器人需要与可能不是客户但在路上遇到的人进行愉悦、安全和易于理解的互动。人们以前并没有接触过自主配送设备。所以我们花了很多心思思考这些在人行道上的互动应该是什么样子。
一方面，你应该尽可能地表现得像一个正常的交通参与者，因为这是人们习惯的。但另一方面，人们不习惯这种新设备，所以不一定假设它会像行人一样行动。这是我们一直在思考的事情。这不仅仅停留在产品层面，它确实渗透到了机器人的行为中，而行为最终由整个技术栈控制。我们身份认同的一个重要部分不仅是外观，还包括它如何通过其运动、避让行为等体现出来。
Sidd Srinivasa：我们的机器人正在进入人们的世界。因此，我们必须尊重我们人类世界中发生的所有复杂互动。当我们走路、开车时，除了我们正在执行的任务外，我们还在进行一种复杂的社会“舞蹈”。对于我们的机器人来说，首先要有这种意识，其次要参与其中。
我必须说，这真的很难。当你开车时，有时很难判断别人在想什么。然后，根据他们的想法来决定你想如何行动也很难。所以，仅仅推断问题就很难，而完成闭环则更难。
如果你在下棋或围棋时与人对弈，那么预测对方要做什么会更容易，因为规则是明确的。如果你假设对手是最优的来下棋，那么即使对方是次优的，你也会下得很好。在某些双人游戏中，这是有保证的。
但这里情况并非如此。我们正在进行一种确保每个人都赢的合作博弈。当你进行这类合作博弈时，预测与你合作的智能体（即使是善意的）的意图实际上非常非常困难。
Philipp Michel：而且行为差异很大。有时候宠物完全无视机器人，毫不在意；有时候狗会径直冲向机器人。行人也类似。有些人直接忽略机器人，而另一些人会走到它跟前。特别是孩子们：他们超级好奇，会近距离互动。我们需要能够安全地处理所有这些类型的场景。所有这些变异性使得问题超级令人兴奋。
Tye Brady：在某中心从事机器人技术研究是一个激动人心的时刻！如果有任何机器人专家在听，来加入我们吧。这太棒了。
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
