研究针对有偏见的AI人脸识别技术

多伦多大学应用科学与工程学院四年级学生Deb Raji和麻省理工学院的研究人员进行的一项研究强调了面部识别服务中存在的种族和性别偏见。

Raji于2018年夏天在麻省理工学院媒体实验室实习，在那里她对微软，IBM和亚马逊等领先公司生产的商业面部识别技术进行了审核。研究人员发现，他们所有人都有将肤色较黑的女性误认为男性的趋势。

但其中一项服务，尤其是亚马逊的Rekognition，表现出比其他服务更高的偏见水平。尽管它可以以近100%的准确度识别浅肤色男性的性别，但29%的女性将男性分类为男性，而浅肤色的男性31%的女性为男性。

Rekognition最近由佛罗里达州奥兰多市的进行了试点，将该服务用于治安场景，例如在相机上扫描面部并将其与数据库中的面部进行匹配。

拉吉说：“该技术不能很好地描述黑人面孔的事实可能导致对嫌疑人的错误识别。” “考虑到亚马逊正在使用这项技术的高风险场景，亚马逊应承受一些公众压力。”

随着人工智能(AI)产品的快速发展和部署，这项新研究强调不仅需要测试系统的性能，还需要测试针对代表性不足的群体的潜在偏见。

尽管算法应该是中立的，但Raji解释说，由于数据集(用于“训练” AI模型的信息”来自仍在应对日常偏差的社会中，这些偏差已嵌入算法中)。

拉吉说：“我想举例说明健康皮肤的外观。如果立即使用Google进行搜索，您将看到皮肤白皙的女性。” “在真正向下滚动之前，您将看不到男人，也不会看到肤色黝黑的女人。如果将其输入AI模型，它将采用这种世界观并根据这些偏见来调整决策。”

拉吉说，应该消除这些偏见，就像要追究一个人的责任一样。她说：“将偏见嵌入算法时，而不是人们做出有偏见的决定时，危险就增加了。有人会告诉你这是错的，无论是公众还是老板。”

“有了人工智能，我们往往会免除这一责任。没有人会把算法放进监狱。”

的Raji对主题的热情偏置在机器学习来自于她的时间在AI启动Clarifai，其中AI和道德的话题在注重研究的是经常讨论一个职业经历为期一年的带薪实习(PEY的Co-op)学生公司。

她说：“这是该公司注意到的，并且在解决方面非常明确，这是一个引起我个人共鸣的主题，因为我是一个可见的少数派。”

这也源于她自己对种族偏见技术的亲身经历。她说：“我会在黑客马拉松上建造一些东西，想知道为什么它不能检测到我的脸，或者为什么自动水龙头不能检测到我的手。”

Raji在麻省理工学院媒体实验室与计算机科学家和数字活动家Joy Buolamwini分享了她的经验。这导致了实习，并使Raji成为她在人工智能进步协会AI伦理与社会会议上发表的论文的主要作者。

拉吉说：“我知道我好像在三个月内写了一篇研究论文。” “但是这个问题已经在我体内渗透了很长时间了。”

Raji目前正在完成工程科学专业的最后一个学期，并发起了一项由学生主导的计划，名为Project Include，该计划培训学生在多伦多和密西沙加的低收入社区教授计算机编程。她还是Google AI的实习生。作为指导计划的一部分，她正在撰写新论文，重点是使公司承担责任的实际解决方案。

拉吉说：“人们有时会轻描淡写地说：'嗯，人工智能才刚刚开始。' “但是，如果您要架起一座桥梁，该行业是否可以让您偷工减料并提供这些借口?”