DeepMind和Blizzard将星际争霸II作为人工智能研究环境开放

时间:2019-03-10 14:12:25 阅读:2次

   DeepMind的科学使命是通过开发可以学习解决复杂问题的系统来突破AI的界限。为此,我们设计代理并测试他们在各种环境中的能力,从专门构建的DeepMind Lab到已建立的游戏,如Atari和Go。

  在非专为人工智能研究而设计的游戏中测试我们的代理,以及人类发挥良好作用的游戏,对基准代理的性能至关重要。这就是为什么我们和我们的合作伙伴暴雪娱乐公司很高兴地宣布发布SC2LE,这是一套我们希望在实时战略游戏星际争霸II中加速AI研究的工具。 SC2LE版本包括:

由暴雪开发的机器学习API,为研究人员和开发人员提供了与游戏相关的功能。这包括首次发布Linux工具。
匿名游戏回放的数据集,在未来几周内将从65,000增加到超过50万。

DeepMind工具集PySC2的开源版本,允许研究人员轻松使用暴雪的功能层API及其代理。
一系列简单的RL迷你游戏,允许研究人员测试代理人在特定任务中的表现。
一份概述环境的联合论文,报告迷你游戏的初始基线结果,监督重放学习,以及针对内置AI的完整1v1阶梯游戏。全屏 fullscreen_mobile 星际争霸II是一款基于科幻小说的即时战略游戏,于2010年发布

  “星际争霸”和“星际争霸II”是有史以来规模最大,最成功的游戏之一,其中有超过20年的选手参加比赛。原始游戏也已被AI和ML研究人员使用,他们每年都参加AIIDE机器人竞赛。星际争霸的部分长寿归功于丰富的多层次游戏,这也使其成为人工智能研究的理想环境。

  例如,虽然游戏的目标是击败对手,但玩家还必须执行并平衡多个子目标,例如收集资源或建筑结构。此外,游戏可能需要几分钟到一个小时才能完成,这意味着在游戏早期采取的行动可能无法在很长一段时间内获得回报。最后,只是部分地观察了地图,这意味着代理人必须使用记忆和计划的组合才能成功。

  该游戏还具有吸引研究人员的其他品质,例如每天在线竞争的大量狂热玩家。这确保了大量的重播数据可供学习 - 以及大量非常有才能的AI代理人。

  即使是星际争霸的行动空间也是一项挑战,可以选择300多项基本行动。与此相比,Atari游戏只有大约10个(例如上,下,左,右等)。除此之外,星际争霸中的动作是分层的,可以修改和扩充,其中许多动作需要屏幕上的一个点。即使假设屏幕尺寸为84x84,也有大约1亿种可用的动作。

全屏 fullscreen_mobile 人和代理可用的操作取决于所选的单位

  此版本意味着研究人员现在可以使用暴雪自己的工具来解决其中的一些挑战他们自己的任务和模型。

  我们的PySC2环境包装器通过为RL代理提供灵活且易于使用的界面来玩游戏。在这个初始版本中,我们将游戏分解为“要素图层”,其中游戏元素(如单位类型,健康状况和地图可见性)彼此隔离,同时保留游戏的核心视觉和空间元素。

play PySC2工具集中的功能层

  该版本还包含一系列“迷你游戏” - 一种将游戏分解为可管理的块的既定技术,可用于测试特定任务的代理,例如移动相机,收集矿物碎片或选择单位。我们希望研究人员可以测试他们的技术,并为其他研究人员提供新的迷你游戏,以便进行竞争和评估。

全屏 fullscreen_mobile 简单的RL迷你游戏将允许研究人员测试代理在特定任务上的表现

  我们的初步调查显示我们的代理商在这些迷你游戏上表现良好-games。但是当谈到完整的游戏时,即使是最简单的内置AI,即使是强大的基线代理商,如A3C,也无法赢得单一游戏。例如,以下视频显示了一个早期培训代理人(左)未能保持其工人挖掘,这是人类发现的微不足道的任务。经过培训(右),代理商采取更有意义的行动,但如果要具备竞争力,我们将需要在深度RL和相关领域取得进一步突破。

play 训练有素和未受过训练的特工处理'迷你游戏'

  我们所知道的一种技术可以让我们的代理人学习更强大的政策就是模仿学习。由于暴雪致力于从星际争霸II阶梯中收集的数十万个匿名回放的持续发布,这种培训将很快变得更加容易。这些不仅可以让研究人员培训有监督的代理人来玩游戏,还可以开辟其他有趣的研究领域,如序列预测和长期记忆。

  我们希望这些新工具的发布将建立在AI社区已经在星际争霸中完成的工作的基础上,鼓励更多的DeepRL研究,并使研究人员更容易专注于我们领域的前沿。

  我们期待看到社区发现了什么。


在暴雪博客上阅读更多内容。
PySC2可以从DeepMind的github页面获得。

Blizzard的星际争霸API可以在这里获得,详细介绍了如何获取linux版本,重放和其他元素。

如果您在研究中使用我们的环境,请引用发布纸。

DeepMind和Blizzard将星际争霸II作为人工智能研究环境开放所属专题:人工智能专题 《DeepMind和Blizzard将星际争霸II作为人工智能研究环境开放》链接:http://www.zhouchuanxiong.net/1116

DeepMind和Blizzard将星际争霸II作为人工智能研究环境开放相关文章

  • 使用人工智能来设计材料的属性
  • 3Q:Aleksander Madry建立值得信
  • 人工智能峰会解决了技术对就业和
  • 人工智能模型从患者数据中“学习
  • 麻省理工学院和SenseTime宣布推进
  • 研究发现商业人工智能系统中的性
  • 用人工智能解开海洋之谜
  • Eric Sc??hmidt访问麻省理工学院
  • 真正的人工智能热情
  • CSAIL与业界合作推出人工智能计划
  • 麻省理工学院媒体实验室参与了27
  • 马文明斯基,“人工智能之父”,
  • 马文明斯基对人工智能的终身成就
  • MIT举办与人工智能电影相关的活动
  • 机器人和超越展览探索人工智能世
  • 在Think 2019上观看IBM的人工智能
  • 人工智能服务的实况报道
  • 硬件的未来是人工智能
  • IBM科学家在人工智能应用程序中展
  • 麻省理工学院和IBM:将我们的“思
  • 2017年CVPR的IBM研究:通过计算机
  • 搜索引擎的历史:从索引卡到人工
  • AI Sport,运动员多久才开始使用
  • DeepMind和Blizzard将星际争霸II
  • 我们与学术界合作推进人工智能领
  • 宣布人工智能合作伙伴关系让人民
  • 人工智能将增强我们,而不是取代
  • 利用人工智能提供下一个最佳行动
  • 人工智能正在影响艺术世界的3种方
  • 什么是Computer Vision企业为什么
  • 人工智能让世界变得更加包容的3种
  • 人工智能比人类认知更好吗?
  • 内容审核人权:人工智能如何帮助
  • 从人眼到人工智能:视觉简史
  • 适用于Android iOS的7大最佳人工
  • 人工智能与机器人过程自动化:天