麻省理工学院的研究人员创造了人脸的视频动画

时间:2019-03-04 16:27:11 阅读:2次
马萨诸塞州坎布里奇 - 玛丽101的脸部属于一个真人,但她的形象现在是一个视频口技表演者的假人。麻省理工学院的研究人员Tomaso Poggio和Tony F. Ezzat可以让她说出他们想要的任何东西。
到目前为止,人工动画的人脸看起来很生气,不切实际。麻省理工学院麦戈文脑研究所研究员Poggio和麻省理工学院电子工程和计算科学研究生Ezzat模拟了看起来如此真实的嘴巴动作,大多数观众无法分辨出Mary 101不是普通的录像带一个人说话。
考虑到任何个人的几分钟镜头,研究人员几乎可以将任何音频与任何录像面配对,将口部动作与单词进行匹配。
Poggio可以想象一个未来,像迈克尔乔丹这样的名人可能出售他的形象,以及为广告和其他目的创建自己的虚拟视频版本的权利。或者约翰韦恩,玛丽莲梦露或埃尔维斯普雷斯利的庄园愿意让表演者虚拟复出 - 只要付出代价。
对于不久的将来,一个更现实的场景将是网络广播或电视新闻广播,其中包括像玛丽101这样的模型的面部,该模型已被编程为提供天气更新或读取当天的中奖彩票号码。在目前的发展水平上,“你不想长时间看这个(面子),”Ezzat说。虽然嘴巴非常栩栩如生,但是几分钟后整体效果往往看起来没有感情,因为眼睛和头部的动作并不完全匹配。 (研究人员正在研究这个问题。)
麻省理工学院脑与认知科学系视觉科学与生物物理学教授Poggio,Uncas和Helen Whitaker教授说:“这种(人类动画)技术是不可避免的 - 这只是过去几年中发生的又一步。” BCS)。
Poggio也是麻省理工学院人工智能实验室的附属机构,也是麻省理工学院生物与计算学习中心(CBCL)的联合主任,研究可用于理解大脑和构建智能机器的学习理论。他有兴趣开发允许计算机从经验中学习的技术。应用范围从分类文本到分析遗传数据和创建人工金融市场。
监督学习 - 或计算机从示例中学习 - 以前没有应用于计算机图形学。 “我们正在测试一种新的学习模式,这对于计算机图形来说是新颖的。以前没有人尝试过,”Poggio说。
置身于“真实”面前
Poggio说,除其他事项外,这项工作可以通过在计算机头像上加上“真实”的面孔来改善人机界面。而不是现在存在的不切实际的,类似卡通的图像,计算机化的人可以变得更加逼真。它可以应用于商业领域,娱乐,语言治疗以及通过计算机辅导教授外语。
虽然计算机带宽正在迅速增加,但一种可能的用途是用于在相对较低的带宽上工作的视频电子邮件和视频电话。您可以使用人脸的现有视频,单独传输他或她的声音,并使用计算机动画技术让嘴巴塑造新词。
这种方法可用于将电影从一种语言重新映射到另一种语言,从而无需使用字幕。它还可以避免日本电影综合症,演员的嘴唇在说出较短的英语短语后仍然很长时间。
它对眼睛跟踪,面部表情识别,视觉语音估计和姿势估计等任务非常有用。
Poggio已将类似的计算机学习技术应用于可自动检测和保护行人的汽车;人脸识别系统;人机表达;人工金融市场,一种无需进行大型市场调查即可帮助了解客户的工具;并对遗传数据进行分类。某些癌症很难让病理学家识别,但具有已知的遗传特征。计算机可以检查患者的DNA以检测癌症的类型。
读我的唇语
自从Ezzat五年前从麻省理工学院毕业并获得EECS的本科和硕士学位以来,他一直在努力解决如何创建一个真实人脸的真实计算机模型的问题。
与之前依赖3D计算机建模技术的努力不同,Ezzat和Poggio构建了一个计算机模型,该模型使用人们谈话的示例视频镜头。
对于Mary 101项目,Ezzat使用麻省理工学院视频制作服务的设施录制模型玛丽101讲话八分钟。他收集了15,000张个人数字化的脸部图像。然后,他开发了一种软件,允许计算机自动选择一小部分图像,覆盖Mary 101的嘴部运动范围。
计算机采用这些嘴图像并将它们重新组合在一个高维“变形空间”中。在变形空间中使用学习算法,计算机能够从原始视频中找出Mary 101的脸部如何移动。这允许软件重新合成新的话语。
“这项工作仍处于起步阶段,但它证明了我们可以拍摄现有视频片段并以有趣的方式重新制作动画,”Ezzat说。 “在这一点上,我们可以重新制作逼真的演讲动画,但我们仍然需要努力重新激活情感。此外,我们无法处理一个人的个人资料视图,但我们正在努力解决这些问题。”
系统生成的视频使用特殊测试进行评估,以查看人类受试者是否可以区分真实序列和合成序列。与Ezzat合作的CBCL研究员Gadi Geiger表示,人们无法将真实视频与计算机生成的合成序列区分开来。
虽然研究人员只使用视频,使用不同来源提供的音频,但他们正在与麻省理工学院计算机科学实验室的语言系统小组开展合作,他们也将处理音频问题。除了娱乐和虚拟演员之外,该项目的目标之一是开发一个能够以自然的方式与学生互动的计算机辅导员。这是麦戈文研究所更广泛议程的一部分,包括研究和改善沟通,理解思想和感受。
最终,Poggio有兴趣进一步了解人类大脑并创造更像人类的机器。 “如果你想在机器中重现智力,那么理解大脑学习的问题是关键。这不仅仅是了解记忆存储的机制,而是理解允许我们学习复杂策略和感知的过程,”他说。 “学习可以说是智力问题的核心,无论是生物还是人工。因为看到的是智力,这项工作也是了解大脑视觉皮层的关键。”
这项工作由国家科学基金会和NTT通过NTT-MIT研究合作资助。
麻省理工学院的研究人员创造了人脸的视频动画所属专题:麻省理工学专题 麻省理工学院专题 《麻省理工学院的研究人员创造了人脸的视频动画》链接:http://www.zhouchuanxiong.net/586

麻省理工学院的研究人员创造了人脸的视频动画相关文章

  • Dan Huttenlocher被任命为麻省理
  • 关于麻省理工学院施瓦茨曼计算机
  • 声音和技术解开了麻省理工学院的
  • 麻省理工学院开放式学习启动了高
  • 为了建立新的大学,麻省理工学院
  • 麻省理工学院未来工作特别工作组
  • JDA Software与麻省理工学院合作
  • 麻省理工学院和SenseTime宣布推进
  • 埃里克施密特将作为访问创新研究
  • 研究所启动了麻省理工学院的情报
  • 麻省理工学院校长雷夫出席白宫技
  • 麻省理工学院媒体实验室参与了27
  • 麻省理工学院的场景:艾姆斯街的
  • 麻省理工学院的团队在国际DARPA机
  • 麻省理工学院的工程师对水下机器
  • 四个来自麻省理工学院的名字命名
  • 麻省理工学院的研究人员发现记忆
  • 麻省理工学院课程问:飞向月球?
  • 海狸般的机器人在年度麻省理工学
  • 麻省理工学院学生设计研究生发展
  • 麻省理工学院在DARPA机器人车辆挑
  • 21世纪的包装骡子:麻省理工学院
  • 麻省理工学院团队为潜艇建造机器
  • 麻省理工学院展示了大脑如何从颗
  • 麻省理工学院为中风患者开发Ankl
  • 麻省理工学院的学生与机器人共舞
  • 麻省理工学院的RoboSnails模仿自
  • 麻省理工学院机器人扮演灰姑娘/终
  • 麻省理工学院跳出了解决水上行走
  • 麻省理工学院的机器人直升机自动
  • 麻省理工学院的机器人'直升机执行
  • 麻省理工学院的研究人员创造了人
  • 麻省理工学院的机器人直升机首次
  • 麻省理工学院实验室制造机器人恐
  • “攻击巴士底狱”,麻省理工学院
  • 麻省理工学院机器人建设大赛30岁