谷歌 DeepMind 正在使用 Gemini 来训练机器人使其变得更聪明
谷歌正在使用 Gemini AI 训练其机器人,以便它们能够更好地导航和完成任务,DeepMind 机器人团队在一篇新的研究论文中解释了如何使用 Gemini 1.5 Pro 的长上下文窗口,让用户可以使用自然语言指令更轻松地与其 RT-2 机器人进行交互。
其工作原理是拍摄指定区域的视频,研究人员使用 Gemini 1.5 Pro 让机器人“观看”视频以了解环境,然后机器人可以根据情况执行命令。 DeepMind 表示其 Gemini 驱动的机器人在超过 50 个任务中的成功率高达 90%。研究人员还发现“初步证据”表明,Gemini 使其机器人能够计划如何执行导航以外的指令,例如,当办公桌上有很多可乐罐的用户询问机器人“是否有他们最喜欢的饮料”时,Gemini 就会知道“机器人应该导航到冰箱,检查是否有可乐,然后返回给用户报告结果。”DeepMind 表示计划进一步调查这些结果。
—— The Verge,arxiv
发表回复