手机上的自动图像修饰

时间:2019-03-04 16:13:12 阅读:4次

今天的数码相机捕获的数据通常被视为最终图像的原材料。在将图片上传到社交网站之前,即使是偶然的手机摄影师也可能花费一两分钟的平衡色和调整对比度,现在可以使用众多流行的图像处理程序之一。
本周,在麻省理工学院计算机科学与人工智能实验室和谷歌的研究人员Siggraph举行的首次数字图形会议上,他们展示了一种能够以专业摄影师的风格自动修饰图像的新系统。然而,它非常节能,它可以在手机上运行,??并且速度快,可以实时显示修饰后的图像,这样摄影师就可以在拍摄时保留图像的最终版本。
同一系统还可以加速现有的图像处理算法。在涉及用于生成高动态范围图像的新Google算法的测试中,新算法在标准数字图像中捕获颜色丢失的细微差别,新系统产生的结果在大约十分之一的时间内在视觉上与算法无法区分 - 再次,足够快速实时显示。
该系统是一个机器学习系统,意味着它通过分析训练数据来学习执行任务;在这种情况下,对于它所学习的每一项新任务,它都经过了数千对原始和修饰的图像的训练。
这项工作建立在麻省理工学院研究人员早期项目的基础之上,其中手机会将低分辨率版本的图像发送到网络服务器。服务器将发回“转换配方”,可用于修饰手机上图像的高分辨率版本,从而减少带宽消耗。
“谷歌听说过我在变换配方上所做的工作,”麻省理工学院电子工程和计算机科学研究生,两篇论文的第一作者Micha?lGharbi说。 “他们自己对此进行了跟进,因此我们遇到并合并了这两种方法。我们的想法是做我们之前做的所有事情,但不是必须处理云上的所有事情,而是要学习它。学习它的第一个目标是加速它。“















捷径
在新的工作中,大部分图像处理是在低分辨率图像上执行的,这大大减少了时间和能量消耗。但这引入了一个新的难题,因为高分辨率图像中各个像素的颜色值必须从机器学习系统的更粗略的输出中推断出来。
在过去,研究人员已经尝试使用机器学习来学习如何“上采样”低分辨率图像,或者通过猜测省略像素的值来提高其分辨率。在训练期间,系统的输入是低分辨率图像,输出是高分辨率图像。但这在实践中并不奏效;低分辨率图像只会遗漏太多数据。
Gharbi和他的同事 - 麻省理工学院电气工程和计算机科学教授FrédoDurand和Jiawen Chen,Jon Barron和Google的Sam Hasinoff用两个巧妙的技巧解决了这个问题。首先,他们的机器学习系统的输出不是图像;相反,它是一组用于修改图像像素颜色的简单公式。在训练期间,根据输出公式(当应用于原始图像时)接近修饰版本的程度来判断系统的性能。
采取轴承
第二个技巧是用于确定如何将这些公式应用于高分辨率图像中的各个像素的技术。研究人员系统的输出是一个三维网格,16乘16乘8.网格的16乘16面对应于源图像中的像素位置;堆叠在它们顶部的八层对应于不同的像素强度。网格的每个单元格包含确定源图像的颜色值的修改的公式。
这意味着网格的16×16面之一的每个单元必须在高分辨率图像中保持数千个像素。但是假设每组公式对应于其单元中心的单个位置。然后,任何给定的高分辨率像素落入由四组公式定义的平方内。
粗略地说,该像素的颜色值的修改是方形角处的公式的组合,根据距离加权。在网格的第三维中发生类似的加权,该加权对应于像素强度。
研究人员根据Durand小组和Photoshop的创建者Adobe Systems创建的数据集训练他们的系统。该数据集包括5,000张图像,每张图像由五位不同的摄影师修改。他们还通过应用特定图像处理算法(例如用于创建高动态范围(HDR)图像的算法)生成数千对图像来训练他们的系统。用于执行每个修改的软件在存储器中占据与单个数字照片一样多的空间,因此原则上,可以配备手机以处理各种样式的图像。
最后,研究人员将他们的系统性能与以全分辨率而非低分辨率处理图像的机器学习系统进行了比较。在处理过程中,全分辨率版本需要大约12千兆字节的内存来执行其操作;研究人员的版本需要大约100兆字节,或者百分之一百。 HDR系统的全分辨率版本产生的图像大约是原始算法的10倍,或者是研究人员系统的100倍。
“这项技术有可能对移动平台上的实时图像增强非常有用,”Barron说。 “将机器学习用于计算摄影是令人兴奋的前景,但受到手机严重的计算和功率限制的限制。本文可以为我们提供一种方法来回避这些问题并产生新的,引人注目的实时摄影体验,而不会耗尽电池或给你一个滞后的取景器体验。“

上一篇:已是第一篇     下一篇:智能手机让生活变得轻松的八种方式
手机上的自动图像修饰所属专题:手机专题 修饰专题 《手机上的自动图像修饰》链接:http://www.zhouchuanxiong.net/377