机器人的“学前教育”

来源：热知
作者：Max.G.Levy

原文标题：Machines Learn Better if We Teach Them the Basics

作者：Max.G. Levy，首发于quanta magzine。

“像人类有学前教育一样，机器也可以进行学前教育——预训练。这是一系列使用预先训练来提升强化学习算法的研究进展。”设想一下：如果你的邻居想要你帮忙给他的宠物兔子喂几根胡萝卜。你会怎么做？即使你压根没去过他们家的厨房，你也知道从冰箱把胡萝卜拿出来，从抽屉取出刀等等。虽然你根本不知道他们家的胡萝卜和刀长什么样，但是你一定不会用他们家的勺子切黄瓜。但是人工智能的程序可能会犯错。这些对人看起来十分简单的任务在程序眼中显得无比艰难。人工智能机器人在自己熟悉的厨房找到刀和胡萝卜，但是他们没办法在一个全新的厨房完成这些事。因为他们没有“抽象”的技能。“他们无法认知新的环境”，来自华盛顿大学计算机科学的毕业生Victor Zhong说道。机器花在“学习”上的时间比花在“探索”上的时间多得多。造成这样“行为”的原因就是这些机器人——以及一般的人工智能代理——没有来构建所有概念的基础。他们并不知道“刀”和“胡萝卜”是什么，该怎么打开抽屉，用刀切胡萝卜。许多高级人工智能系统都是通过一种名为强化学习(Reinforcement learning)的方法进行训练的，这种方法本质上是通过试错进行自我教育。通过强化学习的机器人可以很好地执行强化学习过程中学会的每个“任务”。但是只要到了一个陌生的环境，他们就变得没那么聪明了。为了克服这一限制，计算机科学家已经开始在“惩罚”之前教人工智能一些重要的概念。这就像在使用软件之前先阅读使用手册：你可以尝试在没有它的情况下探索，但有了它你会学得更快。普林斯顿大学的计算机科学家Karthik Narasimhan说:“人类通过做和读的结合来学习。”“我们希望机器也能做到这一点。”Zhong和他同行的新工作表明：对机器进行这样一种“学前教育”可以使得在线和现实中的机器人学习更快。不仅如此，“学前教育”还使得机器人学会了一些新的技能。研究人员希望机器人的“成长”也能“德智体美劳”，象棋、购物、家务样样精通。科学家认为人们和机器人的交互模式也会随着机器人能力的改变而改变。“这是一个相当大的突破，”谷歌的机器人研究科学家Brian Ichter说。“在一年半的时间里，它取得了难以想象的进步。”匮乏的奖励（Sparse Rewards）乍看之下，机器学习领域已经相当成熟。不过大部分算法模型还是基于强化学习，也就是机器做对了，人们会“奖励”。机器通过这样的过程会从一个无知的个体，通过不断的试错，最终百举百捷。这样的机器人可以在简单的游戏中叱咤风云。就比如经典游戏“贪吃蛇”，玩家控制一条蛇的移动，通过在有限空间中吃食物使得蛇身逐渐变长。如果吃到自己的身体游戏就会失败。这样清晰的正确和错误结果会给机器带来积极的反馈，足够多的尝试可以让它从“菜鸟”变成高分。但是加入稍微改动规则，比如从空间从二维变为三维。人类的学习速度就会比机器快很多。这里有两个原因：第一，更大的空间意味着蛇需要更长的时间才能找到食物，当奖励变得稀少时，学习速度会呈指数级下降。其次，新维度提供了全新的体验，强化学习很难对能力进行“拓展”。Victor Zhong通过先为机器灌输基本信息来帮助它们学习概括知识。Zhong认为他们不需要接受这些障碍。“为什么当我们想下国际象棋时”——另一种强化学习已经掌握的游戏——“我们从头开始训练一个强化学习代理?”这种方法效率低下。机器人通过漫无目的的尝试，直到它偶然发现一个好的情况，比如“将军”checkmate。钟认为，如果直接告诉机器人什么方向是正确的或者让他们知道一个好的情况意味着什么。“我们已经有这么多关于如何下棋的书了，为什么还要让机器人从头开始？”因为机器一开始就很难理解人类语言和破译图像。对于一个机器人来说，要完成基于视觉的任务，比如寻找和切胡萝卜，它必须知道胡萝卜是什么——物体的图像必须“基于”对该物体是什么的理解。直到最近，还没有什么好的方法可以做到这一点，但是语言和图像处理的速度和规模的迅速增长使得这即将成为可能。新的神经语言处理模型（natural language processing ）使得机器人可以从根本上理解词语或句子背后的意义。如果想要这么做，就不能仅仅只教机器人字典里的那些东西。计算机视觉就经历过相似的数字爆炸。2009年左右。ImageNet 最初是一个用于计算机视觉研究的注释图像数据库。而如今他们拥有约1400百万张图像数据。像OpenAI的DALL·E这样的程序就能根据命令生成看起来像人造的新图像，尽管没人去真正做比较。加州理工学院和英伟达的计算机科学家阿尼玛·阿南德库马尔认为。已经有足够的数据能用来对机器进行训练了。同时她也认为机器人可以像人一样去学习“概念”，然后通过概念来进化。她说:“我们现在正处在一个伟大的时刻。因为一旦新一代智能机器人出现，我们可以做的事情就更多了。”
游戏中学习（Gaming the System）和Zhong一样的研究人员认为，有了复杂的语言模型后，机器不必再在完全不知情的情况下进行探索。研究人员可以增加一个预训练的步骤，让程序在尝试和错误之前从在线信息中学习。为了测试这一想法，他和他的同事们在五种不同但类似的游戏环境中，将预训练的机器与传统强化学习的机器进行了比较，机器通过处理语言命令来解决问题。每个模拟环境都对机器代理提出了独特的挑战。其中一个要求机器操作3D厨房中的物品；另一款游戏则要求机器通过阅读文本来掌握对抗怪物的精确顺序。但最复杂的设定是一款真实的游戏，即35岁的《NetHack》，游戏的目标是在一个复杂的地下城中找到一个护身符。对于一些简单游戏，预先学习后的机器人会在一些简单概念的基础上进行学习，如：这是胡萝卜，这是怪兽。在《NetHack》中，机器人通过观看人类玩，使用人类玩家上传到互联网上的游戏指南进行训练。这些游戏过程甚至不需要那么好——机器人只需要建立对人类行为的直觉。这次机器人并不是要成为专家，只是一名普通玩家。它会通过观察来建立直觉——人类在特定场景下会做什么？机器人自己将决定哪些行动是成功的，制定自己的“胡萝卜”和“棍子”。“通过预训练，我们形成了良好的先验知识，以便将语言描述与世界上正在发生的事情联系起来，” 钟表示。机器人将从一开始就表现更好，并在随后的强化学习过程中学习更快。结果也可想而知，受到过预训练“教育”的机器人做得比传统强化训练的机器人更好。“在这五个场景中，我们在各个方面都取得了不错的成效，” 钟表示。虽然简单游戏下预训练的优势效果不明显，但在NetHack的复杂场景中，预训练的机器人学习速度快了很多倍，并达到了传统方法所不能达到的技能水平。他说：“你可能会因为不这样做而获得10倍的性能，因为如果你不这样做，你就无法学习到一个好的策略。”阿尼玛·阿南德库马尔(Anima Anandkumar)与人合作创造了一个虚拟代理，它通过观看人类玩游戏的视频来学习玩《我的世界》。阿尼玛·阿南德库马尔(Anima Anandkumar)与人合作创造了一个虚拟代理，它通过观看人类玩游戏的视频来学习玩《我的世界》。她的团队还进行了机器人的预训练，以使它们更快地学习来游玩全球最畅销的电脑游戏《Minecraft》。这是一款“沙盒”游戏，意味着它为玩家提供了一个几乎无限的空间来互动和创建新的世界。对于成千上万的任务，单独编程奖励函数毫无用处，因此团队的模型（“MineDojo”）通过观看带字幕的游戏通关视频来建立其对游戏的理解。不需要编码来定义行为的“好”与“坏”。“我们正在获得自动化的奖励函数，” Anandkumar说。“这是第一个具有数千个任务和通过文本提示指定开放式任务执行强化学习能力的基准测试。”
Beyond Games（不止游戏）

通过游戏来进行“预训练”对机器人来说是一个不错的方式，但是游戏与真实世界还是相差甚远。训练机器人处理实际世界，虽然可能无限，但困难也不少。“我们问了这个问题：是否有中间地带？”Narasimhan说。说完，他便把目光瞄准了网上购物。他的团队创建了WebShop。“它基本上就像一个购物管家，”Narasimhan说。用户可以说：“给我一双白色的耐克鞋，价格在100美元以下，我希望评论中说明它们非常适合幼儿穿着”，程序就会找到并购买这双鞋。相比于Zhong和Anandkumar，Webshop则再向前一步，他们让机器人学习如何处理图像和文本。这些训练集来自亚马逊网站。“随着时间的推移，它能学会理解语言，并将其映射到必须在网站上采取的行动中。”乍一看，购物管家可能并不那么具有未来感。但是，尽管尖端的聊天机器人也可以帮你挑选合适的运动鞋，但下订单等交互需要完全不同的技能组合。即使您的床头Alexa或Google Home扬声器也可以帮你下订单，它们也依赖于执行预定任务的专有软件。WebShop则像人类一样通过阅读、打字和点击来浏览网页。“这是迈向通用智能的一步，”Narasimhan说。“人类在数以百计次的阅读和行动中学习，我希望机器也能这样。”Narsimhan说。当然，让机器人与现实世界互动也有其自身的挑战。例如，一瓶水。你可以通过其外观识别一瓶水，你知道它用于存储液体，你也知道如何用手操纵它。但是，现实中的机器是否能够将语言和图像转化为复杂的运动呢？为了弄清这个问题，Narasimhan与普林斯顿大学的机器人学家Anirudha Majumdar合作，他们教会了一个机械臂操纵它从未见过的工具，并使用来自成功语言模型的描述性语言进行了预训练。根据去年6月发布在arxiv.org上的结果，与传统探索学习的程序相比，该程序在几乎所有工具和动作方面都学得更快，表现更好。该团队与一款移动助手机器人合作，该机器人配备七关节机械臂。他们使用语言技能进行训练。对于任何给定的命令，比如“帮我清理洒出的饮料”，该程序使用语言模型从700个训练动作库中提出建议，如“抓住”纸巾，“拿起”罐子或“丢掉”罐子。Hausman表示，该机器人会使用诸如“我实际上无法擦拭它，但我可以给您带来一块海绵。”的短语来承认自己的局限性。该团队最近报道了这个项目的结果，称其为SayCan。为机器人赋予语言模型的另一个好处是翻译同义词和其他语言的单词变得轻而易举。一个人可以说“twist”，而另一个人说“rotate”，机器人都能理解。“我们尝试的最疯狂的事情是它也能理解表情符号，”Google的研究科学家Fei Xia说道。机器学习没有停止（The Bots Are Learning ）
SayCan可能是迄今为止最先进的基于语言学习的机器人演示。他的语言和图像模型也在不断改进，从而创造出更好、更复杂的预训练技术。但夏飞非常谨慎地抑制了兴奋情绪。他说：“有人半开玩笑地说我们达到了‘机器人GPT’时刻”，指的是能理解各种人类命令的开创性语言模型。“我们还没有到那个地步，还有很多需要探索的地方。”例如，这些模型可能会提供错误答案或执行错误的操作，研究人员正在努力理解。机器人还没有掌握“具象化”的能力：而人类在童年时代玩具的互动经验中建立了一种身体直觉，机器人仍需要真实世界的互动来发展这种直觉。钟说：“对于某些情境，有很多没有标记的操作”，比如像Minecraft和NetHack这样的视频游戏互动数据库。没有任何数据库可以快速教会机器人智能运动。尽管如此，进展还是在快速地发生。越来越多的研究人员相信，更智能的机器人将是最终结果。Narasimha将这种人机演变的过程从卡片式编程到下一个技术进行了梳理。“我们有键盘、鼠标，然后是触摸屏，”他说，“接下来要发展的是基于语言的交互。您将与计算机对话以获取答案和完成任务。虽然真正具有这样能力的机器人还未出现，但是等待的时间不会太久。”

转载内容仅代表作者观点

不代表中科院半导体所立场

---

编辑：六块钱的鱼