一种用于大规模图的可扩展深度学习方法

时间:2019-03-06 18:37:00 阅读:25次

  图形结构对于预测其成分的属性非常有用。执行此预测的最成功方法是通过使用深度神经网络将每个实体映射到向量。可以基于矢量接近度推断两个实体的相似性。然而,深度学习的挑战在于,需要在神经网络的各层之间收集实体与其扩展邻域之间的信息。该社区迅速扩张,计算成本非常高。为了解决这一挑战,我们提出了一种新方法,通过数学证明和实验结果进行验证,表明在每个邻域扩展中只收集少数随机实体的信息就足够了。邻域大小的这种显着减少使得与现有技术的深度神经网络具有相同的预测质量,但是将训练成本降低了数量级(例如,计算和资源时间减少了10倍至100倍),从而产生了吸引人的可扩展性。我们的论文描述了这项工作,“FastGCN:通过重要性抽样快速学习图形卷积网络”,将在ICLR 2018上发表。我的合着者是马腾飞和曹晓。

图分析的复杂性

  图是成对关系的通用表示。在实际应用中,它们有多种形式,包括例如社交网络,基因表达网络和知识图形。深度学习中的一个趋势主题是将欧几里德结构化数据(如图像和文本)的成熟神经网络架构的显着成功扩展到包括图形在内的不规则结构化数据。图形卷积网络GCN就是一个很好的例子。它概括了图像卷积的概念,可以将其视为像素网格,而不再是规则网格的图形。

   GCN背后的想法非常简单。我们这些参加信号处理101或基本计算机视觉课程的人已经熟悉卷积滤波器的概念。对于图像,它是一个小的数字矩阵,与图像的移动窗口成元素相乘,得到的乘积和代替窗口的中心数。对于图表,这是类似的。滤波器的良好组合可以检测原始局部结构,例如不同角度的线,边缘,角落和某种颜色的斑点。对于图表,卷积是相似的。想象一下,每个图节点最初都附有一个向量。对于每个节点,邻居的向量被加总(具有一定的权重和变换)。因此,同时更新所有节点,执行前向传播层。图形卷积可用于通过邻域传播信息,以便将全局信息传播到每个图节点。

  图1:从中间的棕色节点开始扩展邻域。第一次扩张:绿色;第二:黄色;第三名:红色。

   GCN的问题在于,对于具有多个层的网络,邻域被快速扩展,涉及许多向量相加在一起,即使只有一个单个节点。对于具有大量节点的图,这样的计算是非常昂贵的。扩大的社区会有多大?在社交网络分析中,有一个着名的概念被创造出“六度分离”,它表明人们可以通过六个中间连接到达地球上的任何其他人!图1说明从中心的棕色节点开始,将邻域扩展三次(按绿色,黄色和红色的顺序)将触及几乎整个图形。换句话说,单独更新棕色节点的矢量对于只有三层的GCN来说很麻烦。

简化可伸缩性

  图2:从相同的棕色节点开始,在每个邻域扩展中,我们仅对四个节点进行采样。

  我们提出了一个简单而强大的修复程序,称为FastGCN。如果完全扩大社区是昂贵的,为什么不每次只扩展几个邻居?图2说明了这个概念。从褐色节点开始,在每个扩展中,我们选择一个恒定数量(四个)的节点,并仅对它们的向量求和。通过将研究人员常用的基准数据集上的训练时间减少一个数量级,采样大大降低了训练神经网络的成本。然而,预测仍然相当准确。这些基准图的大小从几千个节点到几十万个节点不等,证实了我们方法的可扩展性。

  这种直观的方法背后是一种近似损失函数的数学理论。网络层可以概括为矩阵乘法:H'=σ(AHW),其中A是图的邻接矩阵,H的每一行是连接到节点的向量,W是线性变换。向量(也被解释为要学习的模型参数),并且H'的行包含更新的向量。我们在概率测度P下将该矩阵乘法推广到积分变换h'(v)=σ(∫A(v,u)h(u)W dP(u))。然后,对固定数量的邻居进行采样在每次扩展中,只不过是测量P下积分的蒙特卡罗近似。蒙特卡罗近似得到了损失函数的一致估计;因此,通过采用梯度,我们可以使用标准的优化方法(如随机梯度下降)来训练神经网络。

一系列深度学习应用程序

  我们的方法解决了大规模图形深度学习的关键挑战。它不仅适用于GCN,还适用于基于邻域扩展概念的许多其他图形神经网络,这是图形表示学习的重要组成部分。我们预计,这一基本数据结构图中的挑战的解决方案将被广泛应用,包括社交网络的分析,对药物发现的蛋白质 - 蛋白质相互作用的深入洞察,以及策划和发现知识库中的信息。

一种用于大规模图的可扩展深度学习方法所属专题:大规 学习方法 《一种用于大规模图的可扩展深度学习方法》链接:http://www.zhouchuanxiong.net/793

一种用于大规模图的可扩展深度学习方法相关文章

  • 加速机器学习算法的培训
  • 使用深度学习生成餐厅评论
  • 使用OpenCV和深度学习在视频中跟踪对象
  • 开发一个使用机器学习的基于Web的移动健康应用程序
  • 在Kubernetes上部署和使用多框架深度学习平台
  • 创建一个Web应用程序以与机器学习生成的图像标题进行交互
  • 创建一个Web应用程序,以便与使用机器学习检测到的对象进
  • 机器学习模型的性能评估
  • 构建机器学习推荐引擎,以鼓励基于过去购买行为的额外购买
  • 使用内部部署数据训练基于云的机器学习模型
  • 使用Watson Machine Learning和IBM Db2 Warehouse on Cloud持续学习
  • 部署深度学习驱动的“魔术裁剪工具”
  • 使用机器学习预测心脏病
  • 使用Watson OpenScale监控自定义机器学习引擎
  • 使用Watson OpenScale监控Sagemaker机器学习
  • 使用机器学习和高级分析分析物联网传感器数据
  • 使用Watson OpenScale监控Azure机器学习
  • 从计算机中学习大脑,反之亦然
  • 机器学习分支出来
  • 更好的机器学习
  • 通过玩游戏来学习语言
  • 更灵活的机器学习
  • 深度学习算法可以预测照片在“近人”级别的可记忆性
  • 像人一样学习的机器
  • 建筑学习的先驱,名誉教授Seymour Papert在88岁时去世
  • 计算机通过观看视频来学习识别声音
  • 从图片中学习单词
  • 利用机器学习来改善患者护理
  • ML 2.0:许多机器学习
  • 麻省理工学院健康机器学习的Abdul Latif Jameel诊所旨在彻底改变疾病预防,检测和治疗