解决机器人“完美难题”：智能拣选与码放技术
机器学习的创新速度简直超乎想象——今天可能实现的事情，在几年前甚至还未被提上日程。在某中心，这体现为一个机器人系统，它不仅能够识别杂乱储物箱中的潜在空间，还能在成功放入额外物品之前，灵敏地操作箱内物品以创造出所需空间——这一成果，直到最近还被认为是不可能的。
码放过程
这一旅程始于一件产品抵达某履约中心。首要任务是通过将其添加到履约中心的可用库存中，使其对客户可用。
在实践中，这意味着将其拿起并存放于一个存储“吊舱”中。一个“吊舱”类似于一个由坚固的黄色织物制成的大书架，包含多达40个被称为“箱”的隔间。每个箱的前面有弹性带，以防止里面的物品掉出。这些吊舱由轮式机器人或驱动单元运送到进行码放操作的员工工作站。当吊舱基本装满后，它被运回仓库，其中存放的物品等待客户订单。
码放是运营的重要组成部分。从机器人自动化的角度来看，这似乎也是一个棘手的问题，因为这项工作需要细致的思考和灵巧的操作。想象一下这个任务：你手中有一件待码放的物品。你评估它的大小和重量。你看着面前的一排箱子，直观地感知哪些是空的，哪些已经满了，哪些箱子有很大的空间，以及哪些箱子有潜力（例如，将当前箱内的所有物品推到一边）创造出空间。你选择一个箱子，移开弹性带，为物品腾出空间，然后将其放入。工作完成。如此重复。
“打破所有现有的工业机器人思维”
这项码放任务需要机器人具备两种通常不具备的高级能力。第一，对三维世界的出色理解。第二，能够牢固但灵敏地操作各种已包装但有时易碎的物品——从灯泡到玩具——轻轻地推开放置的物品、将其翻起、将物品以一定角度插入其他物品之间等等。
“码放从根本上打破了所有现有的工业机器人思维，”某机构机器人人工智能总监Siddhartha Srinivasa说。“工业机械臂通常是执行固定轨迹非常精确的笨重手臂。它非常依赖于精确位置控制。”
当Srinivasa于2018年加入某中心时，多个机器人项目已经尝试使用刚性位置控制机械臂向织物吊舱进行码放。
“它们在这方面惨败，因为这是一个噩梦。除非你有正确的计算工具，否则它根本无法工作：你不能只从物理上思考，而要从计算上思考。”
Srinivasa知道机器人码放所需的科学尚不存在，但他知道需要雇用合适的人来开发它。他找到了即将在华盛顿大学完成博士学位的Parker Owan。
一个“完美的问题”
“当时我正在研究机器人接触、模仿学习和力控制，”现为机器人人工智能高级应用科学家的Owan说。“Sidd说‘嘿，某中心有一个你可能感兴趣研究一下的完美问题’，然后他就没多说了。”
种子就此埋下。Owan加入了某中心，然后在2019年全身心投入码放挑战。
“我从决策算法的角度来处理它：感知需求；如何将物品匹配到合适的箱子；如何利用箱子内的信息做出更好的决策；机器人手臂在自由空间中移动的运动规划；然后实际与产品接触并在箱子中创造空间。”
大约在他探索性工作进行了六个月后，Owan加入了一个由应用科学家和硬件专家Aaron Parness组成的小团队，Parness现为机器人人工智能应用科学高级经理。Parness承认他最初持怀疑态度。
“我最初的反应是‘哦，多么勇敢又天真，这个刚获得博士学位的家伙，竟然认为机器人能处理这种级别的杂乱和物理接触！’”但Parness很快就被吸引了。“一旦你看到问题如何被分解和结构化，突然间就会清楚，这里有一些超级有用和有趣的东西。”
“未知领域”
从硬件角度来看，团队需要找到一款具有力反馈的机器人手臂。他们尝试了几种，最终选定了一个有效的型号。该手臂每秒提供数百次反馈，告知其施加了多少力以及遇到了什么阻力。使用这些信息来控制机器人被称为“顺应性操控”。
“我们从一开始就知道需要顺应性操控，而且我们以前从未见过任何人在工业规模上这样做，”Owan说。“这是未知领域。”
Parness着手解决至关重要的硬件问题。移动弹性带以存放物品的问题通过一个相对简单的挂钩系统得到了解决。
末端执行器被证明是一个更高层次的挑战。码放对机器人来说困难的原因之一是销售物品及其包装的多样性。你可能有一个未充气的足球旁边放着一本书，旁边是一瓶运动饮料，旁边是一件T恤，旁边是一个首饰盒。机器人需要能够处理这种多样性。末端执行器在两年内迅速发展，经历了多次失败和迭代。
“最终，我们发现，用两个桨板轻轻挤压物品，比使用吸盘或机械钳更稳定地抓持物品，”Parness说。然而，当尝试将抓持的物品插入箱子时，桨板的设置带来了挑战——桨板总是碍事。Parness和他日益壮大的团队想到了一个替代方案：将物品放在箱子旁边，然后同时打开桨板并使用一个柱塞将物品推入。这种“放下并推入”的技术容易出错，因为并非所有物品对它的反应方式都相同。
末端执行器的下一次迭代是团队在每个桨板上安装了微型传送带，使末端执行器能够顺利地将物品送入箱子，而无需自身进入箱子。
“有了这个改变，我们的码放成功率从大约80%跳升到了99%。那对我们来说是一个‘尤里卡时刻’——我们知道我们找到了赢家，”Parness说。
使用运动基元创造空间
将物品放入箱子的能力至关重要，但在杂乱的箱子中创造空间也同样重要。为了更好地理解机器人系统需要什么，团队仔细研究了他们自己是如何执行这项任务的。Owan甚至戴上头戴式摄像机来记录他的操作。团队惊讶地发现，在织物箱内进行空间创造的手部动作，绝大多数可以归结为四种类型或“运动基元”。这些包括横向清扫箱内现有物品、将平躺的物品立起翻转、堆叠，以及将物品以一定角度插入其他物品之间的缝隙。
工程师们意识到末端执行器的桨板无法参与这个箱子操作任务，因为它们会碍事。最终的解决方案出奇地简单：一个可以从末端执行器伸出的薄金属片，被称为“铲子”。伸出的铲子可以牢固但灵敏地将物品推到一边、将其翻起，并通常用于在箱子中腾出空间，然后由桨板将物品弹射到创造出的空间中。
但是系统如何知道吊舱箱子的满载程度，以及它如何决定在哪里以及如何为下一个待码放物品创造空间？这就是视觉感知和机器学习发挥作用的地方。决定在哪里尝试码放物品需要很好地了解每个织物箱总共有多少可用空间。在理想情况下，这将使用激光雷达等3D传感技术。然而，由于每个箱子前面的弹性带部分阻挡了内部视线，这个选项并不可行。
相反，系统的视觉感知基于指向吊舱的摄像头，这些摄像头将图像数据馈送到机器学习系统。根据它能看到每个箱子内物品的情况，系统“擦除”弹性带，并对箱子内看不见的物品进行建模，然后估计吊舱中每个箱子的总可用空间。通常，在一个杂乱的箱子中有可用空间，但空间不是连续的：这里或那里散布着一些小空间。然后，机器学习系统（部分基于某履约技术团队开发的现有模型）预测在给定其可支配的运动基元的情况下，可以在每个箱子中创造出多少连续空间。
“这些基元，每个都可以根据需要变化，可以以无限多种方式链接，”Srinivasa解释道。“比如说，可以先在这里翻一下，然后推过去，再把物品放进去。人类在首先识别这些基元方面非常出色，而机器学习在组织和协调它们方面非常出色。”
当系统对选项有了明确的想法后，它会考虑其缓冲区（靠近机器人手臂龙门架的区域，存放着各种形状和尺寸等待码放的产品）中的物品，并决定哪些物品最适合放入哪些箱子以实现最高效率。
“对于每一个潜在的码放动作，系统都会预测其成功概率，”Parness说。“当最佳成功概率预测下降到大约96%时（这发生在吊舱几乎装满时），我们会送走那个吊舱，并运进一个新的。”
“机器人与人协同工作”
2021年夏末，随着其潜在可行性和价值变得越来越清晰，某中心的高级领导团队给予该项目全力支持。
“他们说‘尽你所能快速推进；你需要什么都行’。所以今年是一段疯狂、疯狂的旅程。感觉我们像是某中心内部的一家初创公司，”Parness说，并指出这种方法对履约中心员工也有显著优势。
“机器人在一个混合系统中与人协同工作。机器人处理重复性任务，并轻松触及高架和低架。人类处理需要直觉和灵巧度的更复杂物品。最终效果将是更高效、对员工也更安全的操作。”
机器人码放工作站的样机安装在华盛顿州西雅图的一个实验室，另一套系统安装在华盛顿州萨姆纳的一个履约中心，处理实际库存。目前，样机已经能够很好地码放物品，并展示了系统的可行性。
“而且总是有四五个科学家和工程师围在机器人周围，记录问题并寻找改进之处，”Parness说。
今年，在一次旨在包含各种具有挑战性产品属性（袋装物品、重心偏移的不规则物品等）的码放测试中，该系统成功码放了95件物品中的94件。当然，有些物品永远无法被这个系统码放，包括特别笨重或沉重的产品，或者在传送带上表现不佳的圆柱形物品。团队的最终目标是能够码放标准某履约中心库存的85%的产品。
“与杂乱排列的物品、未知形状和大小的物品进行交互，并以智能的方式学习操作它们，这一切都在某中心的规模上进行——这是开创性的，”Owan说。“我感觉自己正处在一件大事的起点，这就是让我每天兴奋地来工作的原因。”
“码放将成为某中心第一个大规模‘棕地’自动化项目，”Srinivasa说。“将自动化精准地插入现有建筑中非常具有挑战性，但我们正在构建一个未来，在这个未来中，机器人人类实际上可以并肩工作，而无需我们显著改变人类的工作环境。
“某机构机器人人工智能所做的这类‘棕地’自动化的优势之一是，它对流程流或建筑空间的干扰最小，这意味着我们的机器人可以真正与人类并肩工作，”Srinivasa补充道。“这也是顺应性手臂的一个未来好处，因为它们可以通过软件和人工智能变得比工业手臂更安全。”
机器人与人类并肩工作是这项技术长期扩展到零售领域之外的关键，Parness说。
“想象一下机器人装载易碎的杂货，或者更长远来看，装载洗碗机或帮助人们完成家里的任务。在其控制回路中具有力感知的机器人，是顺应性机器人应用的一个新范式。”
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
