IBM Research的深度学习进展

时间:2019-03-06 18:37:11 阅读:13次

  今天,在IBM科学家的贡献下,IBM在Watson Studio中引入了深度学习即服务,这是一套丰富的基于云的工具,可供开发人员和数据科学家帮助消除在企业中培训深度学习模型的障碍。

  深度学习和机器学习需要昂贵的硬件和软件资源以及更昂贵的技术科学家和开发人员。特别是深度学习要求用户成为不同层次的专家,从神经网络设计到新硬件。允许它们更有效需要跨堆栈创新和软件/硬件协同设计。创建AI模型和应用程序所面临的挑战最近受到越来越多的关注,Berkeley的Joe Hellerstein强调了AI Engineering Gap,一个专注于系统和机器学习交叉的新学术会议(SysML),以及Stanford DAWN倡议“缺乏端到端机器学习开发的系统和工具。”

   Watson Studio中的深度学习即服务在应对此类挑战,提高数据科学家和软件工程师的工作效率,以及AI创作的质量和可维护性方面取得了长足进步。在本博客中,我们将深入探讨IBM Research科学家与我们的产品团队合作开发的一些创新。

  深度学习即服务架构涵盖多个层次,包括硬件加速器,开源DL框架,用于容器编排的Kubernetes,以及用于管理和监控培训运行的服务。

  云端培训

  许多使用深度学习模型的团队涉及那些不花时间在数据科学任务上的人,而是在配置深奥的硬件,安装驱动程序,管理分布式流程,处理故障或者如何资助资金到购买专用硬件,如GPU。我们希望让用户继续在他们选择的框架中设计他们的模型,但是将他们培训成一个优化的硬件和软件堆栈,作为托管云服务提供。

  这里面临的挑战源于这样一个事实:现成的深度学习框架并非设计用于在多租户云环境中运行,而云软件通常处理无状态Web应用程序,这些应用程序的概况明显不同于那些计算和数据密集型深度学习培训工作。在创建此功能时,我们已经解决了跨堆栈性能优化,对异构硬件的支持,安全性,横向扩展和可用性挑战,因此数据科学家可以专注于他们的模型和数据,使他们更接近“无服务器”的深度学习体验。我们最近发布了一些核心功能[1,2]作为深度学习结构(FfDL),这是一种基于Kubernetes的开源云端原生微服务结构,并邀请社区参与,实验和在这个激动人心的空间中为创新提供了可能性。

  自动化神经网络的参数

  由于极大的配置空间(例如:每层有多少节点,激活功能,学习率,辍学率,滤波器大小等),有效地确定神经网络的参数是一个具有挑战性的问题。以及评估建议配置的计算成本(例如,评估单个配置可能需要数小时到数天)。为了解决这个具有挑战性的问题,我们使用了一种基于模型的全局优化算法RBFOpt [3],它不需要衍生物。类似于贝叶斯优化 - 其将高斯模型拟合到未知目标函数 - 我们的方法适合径向基函数模型。在与产品团队密切合作以整合我们的技术的同时,我们继续探索基于例如增量学习[4]和基于强盗的神经网络搜索建立神经网络的新方法[5]。

  用于检查实验的仪表板

  机器学习模型越来越成为应用程序和系统的核心。围绕开发这些模型的过程是高度迭代和实验驱动的。实施ML模型的非线性和非确定性通常导致大量不同的模型。我们发现数据科学家倾向于使用特殊方法管理模型,例如笔记本,电子表格,文件系统文件夹或PowerPoint幻灯片。但是,这些特殊方法会记录模型本身,而不是更高级别的实验。结果,出现了数据科学家的仪表板[6],我们不断与内部最终用户合作,以??便与产品团队达成当前设计。该仪表板允许数据科学家在实验运行中比较模型的版本,并直观地了解每个参数如何影响模型的最终精度。系统还可以显示输入数据的样本,绘制各个运行的准确度/损失曲线,并对模型的数据和代码工件进行原点跟踪。

  深度学习的可视化编程

  我们在这项工作[7,8]中提出的主要研究挑战是促进和灌输深度学习的视觉编程范例。深度学习领域的增长速度快于开发人员或软件工程师使用深度学习构建应用程序的速度。我们正在抽象构建深度学习模型的编程范式,这样,采用深度学习促进发展的学习曲线大大减少。在这项工作中,我们:

使用直观的拖放界面开发可视化编程范例
为捕获深度学习模型设计/架构提供了一个平台无关的表示

  有效地,开发人员应该能够设计一个深度学习架构。抽象方式,生成代码或模型训练的库的不可知。在实验室中,我们正在尝试通过深度学习研究论文中的自动生成代码来加速神经网络的创建。

  随着这些创新掌握在客户手中,我们将继续与IBM Watson团队合作,通过深度学习推动障碍,并帮助推动人们使用AI技术做些什么。

  要了解有关Watson Studio中深度学习即服务的更多信息,请访问www.ibm.com/cloud/watson-studio

  作者:Rania Khalaf,David Kung,Senthil K Mani,Todd Mummert,Vinod Muthusamy和Horst Samulowitz,IBM Research

  脚注:

   [1] B. Bhattacharjee等人,“IBM深度学习服务”,IBM Journal of Research and Development,vol。 61,不。 7,pp.10:1-10:11,7月至9月。 1 2017. https://arxiv.org/abs/1709.05871

   [2] Scott Boag,et al。可扩展的多框架多租户生命周期管理深度学习培训工作,在NIPS'17,2017年ML系统研讨会上.http://learningsys.org/nips17/assets/papers/paper_29.pdf

   [3] RbfOpt:Python中的黑盒优化库,https://github.com/coin-or/rbfopt

   [4] Roxana Istrate,A。Cristiano I. Malossi,Costas Bekas,Dimitrios S. Nikolopoulos:深度卷积神经网络的增量训练。 AutoML @ PKDD / ECML 2017:41-48

   [5] Martin Wistuba,使用UCT在一天内找到竞争网络架构。 https://arxiv.org/abs/1712.07420

   [6]跑道:机器学习模型实验管理工具http://www.sysml.cc/doc/26.pdf

<7> [7] Anush Sankaran,Rahul Aralikatte,Senthil Mani,Shreya Khare,Naveen Panwar,Neelamadhav Gantayat:DARVIZ:深度抽象表示,可视化和深度学习模型的验证。 ICSE-NIER 2017

   [8] Akshay Sethi,Anush Sankaran,Naveen Panwar,Shreya Khare,Senthil Mani:DLPaper2Code:从深度学习研究论文中自动生成代码,AAAI 2018

IBM Research的深度学习进展所属专题:深度 Research 《IBM Research的深度学习进展》链接:http://www.zhouchuanxiong.net/798

IBM Research的深度学习进展相关文章