一种模仿学习方法来训练机器人而无需进行实际的人类演示 (2)林道远
2022-07-19 18:32:58 移变娱乐网
一种模仿学习方法来训练机器人，而无需进行实际的人类演示
大多数人可以通过观察他人仅执行一次任务来学习如何完成给定任务。但是，被编程为通过模仿人类学习的机器人通常需要在一系列人类演示中进行训练，然后才能有效地复制所需的行为。
研究人员最近能够使用元学习方法，通过让机器人观察单个人类演示，来教机器人执行新任务但是，这些学习技术通常需要现实世界中的数据，这些数据可能昂贵且难以收集。
为了克服这一挑战，伦敦帝国理工学院的一组研究人员开发了一种新方法，该方法无需使用现实世界中的人类演示，即可在机器人中进行一次仿制学习。
他们的方法在arXiv上预先发表的一篇论文中提出，使用了称为任务嵌入式控制网络的算法，该算法允许人工代理从单个或多个演示中学习如何完成任务以及人工生成的训练数据。
研究人员在论文中写道：“我们证明，通过嵌入任务的控制网络，我们可以通过嵌入人类示范来推断控制策略，这些示范可以制定控制策略并实现一次模仿学习。”
研究人员提出的方法不需要在机器人的训练过程中与真实的人进行任何互动。该方法使用TechNet来推断控制策略，嵌入可演示给定控制策略的人工演示，并最终实现一键式模仿学习。
为了消除训练过程中对现实世界中的人类演示的需求，研究人员使用了模拟人类演示的视频数据集，这些视频是使用PyRep生成的。研究人员使用PyRep对类似人的3-D手臂进行建模，然后将其分解成各种形状，以重现类似于人类观察到的动作。
然后，他们创建了一个由视频组成的数据集，该模拟手臂在其中执行了许多任务，并用它来训练机器人系统。最终，机器人仅通过分析这些模拟视频并在现实世界中进行一次人工演示就能够学习如何完成任务。
研究人员在论文中解释说：“重要的是，我们在训练期间不使用真实的手臂来提供演示，而是在以前从未见过的应用程序中利用域随机化：在人与人之间实现从模拟到真实的传输。”
该团队在模拟和现实世界中都评估了这种新的单次学习方法，使用它来训练机器人来完成涉及放置和推动对象的任务。值得注意的是，他们的学习方法所取得的结果可与使用更传统的基于模仿学习的方法所获得的结果相提并论，尽管它需要对机器人进行人工生成的视频而非真实的人类演示进行训练。
研究人员写道：“我们能够获得与最新替代方法类似的性能，该替代方法依赖于现实世界中收集的数千个训练演示，同时还对视觉域转换保持了稳健。”
由这组研究人员开发的方法可以实现对多个机器人的一次性模仿学习，而无需收集大量的真实人类演示。对于那些尝试使用模仿学习来训练机器人的人来说，这可以节省大量的精力，资源和时间。研究人员现在正计划调查使用机器人的方法可以训练机器人的其他动作。
研究人员在论文中写道：“我们希望进一步研究可以从模拟转移到现实的各种人类行为。” “例如，在这项工作中，我们已经证明了可以转移人的手臂，但是同样的方法在包括人的整个躯干在内的示威活动中也会起作用吗？”