研究发现商业人工智能系统中的性别和皮肤类型偏差

时间:2019-03-04 16:10:47 阅读:1次
麻省理工学院和斯坦福大学的一篇新研究论文将于本月晚些时候在公平,问责和透明度会议上发表,三项商业发布的主要科技公司的面部分析项目表现出皮肤类型和性别偏见。
在研究人员的实验中,三个项目在确定浅肤色男性性别方面的错误率从未低于0.8%。然而,对于肤色较深的女性来说,错误率会膨胀 - 在一个案例中超过20%,在另外两个案例中超过34%。
这些发现提出了一些问题,即如何通过在大型数据集中寻找模式来学习执行计算任务的今天的神经网络进行训练和评估。例如,据该报称,美国一家大型科技公司的研究人员声称,他们设计的人脸识别系统的准确率超过97%。但用于评估其性能的数据集中,男性占77%以上,白人占83%以上。















“这方面真正重要的是方法以及该方法如何应用于其他应用程序,”麻省理工学院媒体实验室思域媒体小组的研究人员和新论文的第一作者Joy Buolamwini说。 “当您正在寻找犯罪嫌疑人或解锁手机时,也可以使用相同的以数据为中心的技术来确定某人的性别。而且这不仅仅与计算机视觉有关。我真的希望这会刺激更多的工作来研究[其他]差异。“
Buolamwini加入了Timnit Gebru的论文,Timnit Gebru是斯坦福大学的研究生,当时工作完成,现在是微软研究院的博士后。
机会发现
Buolamwini和Gebru调查的三个程序是通用面部分析系统,可用于匹配不同照片中的面部以及评估性别,年龄和情绪等特征。所有这三个系统都将性别分类视为二元决策 - 男性或女性 - 这使得他们在该任务上的表现特别容易在统计上进行评估。但同样类型的偏见也可能影响程序在其他任务上的表现。
事实上,正是由于其中一个项目首先引发了Buolamwini的调查,才有机会发现面部跟踪的明显偏见。
几年前,作为媒体实验室的研究生,Buolamwini正在研究一种名为Upbeat Walls的系统,这是一种交互式多媒体艺术装置,允许用户通过移动头部来控制投射在反射表面上的彩色图案。为了跟踪用户的动作,系统使用商业面部分析程序。
Buolamwini为该项目开展工作的团队在种族上多种多样,但研究人员发现,当需要公开展示该设备时,他们不得不依靠一个肤色较浅的团队成员来展示它。对于皮肤较黑的用户来说,该系统似乎无法可靠地工作。
好奇的,黑色的Buolamwini开始将自己的照片提交给商业面部识别程序。在一些情况下,节目未能将照片识别为具有人脸特征。当他们这样做时,他们一直错误地将Buolamwini的性别分类。
量化标准
为了开始系统地研究这些程序的偏见,Buolamwini首先组装了一组图像,其中女性和深色皮肤的人比通常用于评估面部分析系统的数据集中表现得更好。最后一组包含1,200多张图像。
接下来,她与一位皮肤外科医生合作,根据Fitzpatrick皮肤色调进行编码,这是一种从浅到深的六点量表,最初由皮肤科医生开发,作为评估晒伤风险的一种手段。
然后,她将主要技术公司的三个商业面部分析系统应用到她新构建的数据集中。在所有三个国家中,女性的性别分类错误率始终高于男性,黑皮肤受试者的错误率高于浅肤色受试者。
对于肤色较深的女性 - 那些在Fitzpatrick量表上分配IV,V或VI分数的女性 - 错误率分别为20.8%,34.5%和34.7。但是对于其中两个系统,数据集中最黑皮肤的女性的错误率 - 那些得分为VI的错误率 - 更糟糕的是:46.5%和46.8%。从本质上讲,对于那些女性来说,系统也可能随意猜测性别。
Buolamwini说:“在商业系统中,三分之一失败,对于已经减少为二元分类任务的东西,你必须要问,如果那些失败率属于不同的子群,那么这是否会被允许?” “另一个重要的教训是,我们的基准,我们衡量成功的标准,本身可以给我们一种虚假的进步感。”
“这是一个数据集对模型发生的影响很大的领域,”IBM Watson人工智能系统的首席架构师Ruchir Puri说。 “我们现在有了一个新模型,我们提出了在Joy正在考虑的基准测试中的准确性方面更加平衡。它有50万个平衡类型的图像,我们有一个不同的底层神经网络,它更加健壮。“
“我们需要时间来做这些事情,”他补充道。 “我们大约需要八到九个月才能完成这项工作。该模型并不是对她的论文的具体回应,但我们自己解决了她直接提出的问题,包括她的基准。她提出了一些非常重要的观点,我们应该看看我们的新作品如何与他们对抗。“
研究发现商业人工智能系统中的性别和皮肤类型偏差所属专题:人工智能专题 偏差专题 《研究发现商业人工智能系统中的性别和皮肤类型偏差》链接:http://www.zhouchuanxiong.net/341

研究发现商业人工智能系统中的性别和皮肤类型偏差相关文章