深度学习算法可以预测照片在“近人”级别的可记忆性

时间:2019-03-04 16:17:05 阅读:16次

来自麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员已经创建了一种算法,可以预测图像的难忘度或遗忘率几乎与人类一样准确 - 他们计划将其变成一个巧妙地调整照片的应用程序,使其更加难忘。
对于每张照片,“MemNet”算法 - 您可以通过上传自己的照片在线试用 - 还会创建一个热图,可以准确识别图像的哪些部分最难忘。
“了解可记忆性可以帮助我们使系统捕获最重要的信息,或相反地,存储人类最有可能忘记的信息,”CSAIL研究生Aditya Khosla说道,他是相关论文的第一作者。 “这就像拥有一个即时焦点小组,告诉你有人会记住视觉信息的可能性。”
团队成员描绘了各种潜在的应用,从改进广告和社交媒体帖子的内容,到开发更有效的教学资源,到创建自己的个人“健康助手”设备,以帮助您记住事物。
作为该项目的一部分,该团队还发布了世界上最大的图像记忆数据集LaMem。 LaMem拥有60,000张图片,每张图片都附有关于受欢迎程度和情感影响等品质的详细元数据,是团队努力进一步研究他们所说的通常是计算机视觉中未充分研究的主题。
该论文由CSAIL研究生Akhil Raju,Antonio Torralba教授和主要研究科学家Aude Oliva共同撰写,他是该工作的高级研究员。科斯拉将于本周在智利计算机视觉国际会议上发表论文。
这个怎么运作
该团队之前开发了一种类似的面部记忆能力算法。值得注意的是,除了它现在可以在接近人类水平上执行的事实之外,它还使用了“深度学习”技术,这是一种人工智能领域,使用称为“神经网络”的系统来教授计算机筛选大量数据以查找所有模式。
这些技术推动了苹果的Siri,谷歌的自动完成以及Facebook的照片标记,以及刺激这些科技巨头花费数亿美元用于深度学习初创公司的因素。
“虽然深度学习在物体识别和场景理解方面取得了很大进展,但预测人类记忆常常被视为计算机科学家永远无法解决的更高层次的认知过程,”奥利瓦说。 “好吧,我们可以,而且我们做到了!”
神经网络用于关联数据,而无需人为指导潜在的原因或相关性。它们被组织在多个处理单元中,每个处理单元连续地对数据执行随机计算。随着网络接收更多数据,它会重新调整以产生更准确的预测。
该团队从几个不同的数据集中提供了数万个图像,包括LaMem和面向场景的SUN和Places(所有这些都是在CSAIL开发的)。每个图像都基于人类受试者在在线实验中记住它们的能力而获得“记忆性得分”。
然后,该团队通过模型预测一群人如何找到一个新的前所未见的图像,将其算法与人类主体进行对比。它比现有算法好30%,并且在人类平均表现的几个百分点内。
对于每个图像,算法产生热图,显示图像的哪些部分最难忘。通过强调不同的区域,它们可以提高图像的可记忆性。
加州大学伯克利分校计算机科学副教授阿列克谢·埃弗罗斯说:“CSAIL的研究人员已经用面孔进行了这样的操作,但我对他们能够将其扩展到通用图像印象深刻。” “虽然你可以稍微改变一下脸部的外观,比如说,让它更具'笑脸',但要概括所有图像类型是非常困难的。”
展望未来
这项研究还意外地揭示了人类记忆的本质。科斯拉说他曾想过,如果人类受试者只能看到最令人难忘的图像,他们是否会记住一切。
“你可能会认为人们会适应并忘记他们以前做过的事情,但我们的研究表明,”他说。 “这意味着如果我们为他们呈现令人难忘的图像,我们就有可能改善人们的记忆。”
该团队接下来计划尝试更新系统,以便能够预测特定人员的记忆,并为个人“专业行业”(如零售服装和徽标设计)更好地定制。
“这种研究使我们能够更好地理解人们关注的视觉信息,”Efros说。 “对于营销人员,电影制作人和其他内容创作者来说,能够在看到某些东西时模拟你的精神状态是一个令人兴奋的新方向。”
这项工作得到了美国国家科学基金会,麦戈文研究所神经技术计划,CSAIL的麻省理工学院大数据计划,谷歌和施乐的研究奖以及Nvidia的硬件捐赠的支持。

上一篇:像人一样学习的机器     下一篇:更灵活的机器学习
深度学习算法可以预测照片在“近人”级别的可记忆性所属专题:深度学习 算法 《深度学习算法可以预测照片在“近人”级别的可记忆性》链接:http://www.zhouchuanxiong.net/445