从研究论文中自动生成深度学习模型的代码

时间:2019-03-06 18:37:26 阅读:14次

  在2018 AAAI大会即将举行的演讲中,我们的IBM研究印度深度学习专家团队提出了一种新的探索性技术,可以在已发表的研究论文中自动摄取和推断深度学习算法,并在源代码中重新创建它们以包含在多个深度学习框架的库(Tensorflow,Keras,Caffe)。

  开发IBM Deep Learning IDE的IBM Research India实验室成员

  通过这项我们称之为IBM Deep Learning IDE的研究,我们正在追逐通过减少创建基于深度学习的模型所需的工作来实现深度学习民主化的宏大梦想,增加现有模型的重用,并使其更容易了解使用多个库/框架时遇到的一些当前障碍。

  例如,考虑最近在AAAI 2017上发表并高度引用的深度学习研究论文,“Inception-v4,Inception-ResNet和剩余连接对学习的影响。”作为一名软件开发人员,在深度学习方面经验最少,理解研究论文并实施其细节将非常困难。事实上,在2016年NIPS会议上,2,500篇论文中有685篇论文与深度学习或神经网络有关,但只有约18%的论文提供了源代码。在我们的一项涉及100多名软件开发人员的调查中,86%的自称为“编程能力专家”的参与者回答说,至少需要几天才能成功或不成功地实施现有的深度学习模型。研究论文或文件。

  考虑另一个例子,作为开发人员,您希望构建一个图像字幕系统。以下是针对此问题的高度参考研究论文的示例代码实现:

Show and Tell:Theano提供的原始实现; https://github.com/kelvinxu/arctic-captions
NeuralTalk2:Torch提供的原始实现; https://github.com/karpathy/neuraltalk2
LRCN:Caffe实施; http://jeffdonahue.com/lrcn/

  由于所提出的模型的实现在不同的库中可用,因此开发人员不能轻易地将模型一起使用或组合在一起。此外,如果其余组件都是Java(例如,DL4J),那么直接利用这些公共实现中的任何一个都是令人生畏的。

  因此,跟上这个快速发展的深度学习社区正成为一项挑战,因为在代码中复制研究论文是一项艰巨而耗时的任务。如果您可以拥有一个系统来阅读和理解深度学习研究论文并在您选择的任何语言和库中实现所提出的模型设计,该怎么办?这是我们研究工作的主要动机。

  在开展我们的研究工作时,我们观察到研究论文中提出的深度学习模型的架构细节通常可以作为流程图或以表格格式描述。我们按照这个逐步程序在研究论文中利用这些结构,如下图和步骤所述:

   工作流程,显示IBM Deep Learning IDE技术从研究论文中自动生成深度学习模型代码所采取的步骤

从研究论文的PDF中提取所有图像和表格。
训练二进制分类器以检测哪些图像和表格描述深度学习模型流程。
解析图像以提取节点,边缘和流程构建计算图,如下图所示。对图像执行OCR以提取文本内容。

  

   在纸张中解析图像以提取节点,边缘和流量


该表可以以行主要或列主要格式描述。基于PDF研究论文中的表格对齐,该表格被独立解析以提取深度学习模型流程。
如果表格和图像描述相同的设计流程,我们将它们结合起来提取设计以提高设计流程的准确性。模型设计。
从提取的设计,以JSON格式表示,我们支持Keras(v2.1.2),Caffe(v1),Tensorflow(v1.4)和PyTorch(v0.3)中的源代码生成使用基于手动策划模板的代码生成方法。

  因此,对于保存为PDF的给定研究论文,可以为四个不同的框架自动生成执行就绪源。提出的方法的一个主要警告是研究论文中的数字可能是高度非结构化和复杂的。我们进行了彻底的分析,并将这些图像大致分为五类:(i)神经元图,(ii)2D盒,(iii)Stacked2D盒,(iv)3D盒,以及(v)管道图。目前,我们支持从“2D Box”类型的图像中提取设计流程信息,这些图像占现有研究论文的约50%,但是在未来,我们希望能够从多个不同的表示中解释模型细节。

  为了评估我们工作中提出的语法,我们从Keras和Caffe框架的相应2D Box可视化中为超过216,000个深度学习模型创建了源代码实现。对该数据集的实验表明,在提取流程图内容提取时,所提出的方法的准确度大于93%。

  我们工作的另一个重要方面是基于直观的拖放式UI编辑器,可用于手动编辑和完善提取的设计,并实时生成源代码。目前,我们正在建立一个模型动物园,其中包括来自arXiv的5,000份核心深度学习研究论文的模型的设计和源代码。我们希望尽快与更大的研究团体分享这个数据集,以便使用和改进。

  我们研究的更大目标是:

通过更容易重现研究工作来增加深度学习的民主化,并增加开发人员对深度学习模型的消耗。
标准化深度学习模型在研究论文中表达的格式,以便于理解和重用模型。
标准化以图书馆无关的方式描述深度学习模型的格式。

  在这项工作中,我们已经采取了初步的探索性步骤来实现这些更大的研究目标,并期待着社区的反馈。

从研究论文中自动生成深度学习模型的代码所属专题:自动生成 文中 《从研究论文中自动生成深度学习模型的代码》链接:http://www.zhouchuanxiong.net/806

从研究论文中自动生成深度学习模型的代码相关文章

  • 深度学习培训时间显着减少
  • IBM Research的深度学习进展
  • IBM利用POWER9和NVIDIA GPU设置万亿级机器学习基准记录; PowerAI即将推出
  • 一种用于大规模图的可扩展深度学习方法
  • 在强化学习中发现特征选择的新算法
  • 加速机器学习算法的培训
  • 使用深度学习生成餐厅评论
  • 使用OpenCV和深度学习在视频中跟踪对象
  • 开发一个使用机器学习的基于Web的移动健康应用程序
  • 在Kubernetes上部署和使用多框架深度学习平台
  • 创建一个Web应用程序以与机器学习生成的图像标题进行交互
  • 创建一个Web应用程序,以便与使用机器学习检测到的对象进
  • 机器学习模型的性能评估
  • 构建机器学习推荐引擎,以鼓励基于过去购买行为的额外购买
  • 使用内部部署数据训练基于云的机器学习模型
  • 使用Watson Machine Learning和IBM Db2 Warehouse on Cloud持续学习
  • 部署深度学习驱动的“魔术裁剪工具”
  • 使用机器学习预测心脏病
  • 使用Watson OpenScale监控自定义机器学习引擎
  • 使用Watson OpenScale监控Sagemaker机器学习
  • 使用机器学习和高级分析分析物联网传感器数据
  • 使用Watson OpenScale监控Azure机器学习
  • 从计算机中学习大脑,反之亦然
  • 机器学习分支出来
  • 更好的机器学习
  • 通过玩游戏来学习语言
  • 更灵活的机器学习
  • 深度学习算法可以预测照片在“近人”级别的可记忆性
  • 像人一样学习的机器
  • 建筑学习的先驱,名誉教授Seymour Papert在88岁时去世