人工智能能否推动个人助理设备和手语的创新

推进技术创新和对抗与手语相关的数据甜点一直是AI for Accessibility计划的重点领域。为了实现这些目标，该团队在 2019 年举办了手语研讨会，征求该领域顶尖研究人员的申请。亚伯拉罕·格拉瑟，博士 计算机和信息科学专业的学生和一位本土手语 (ASL) 的签名者，由 Matt Huenerfauth 教授监督，获得了为期三年的资助。他的工作将专注于一个非常务实的需求和机会：通过专注于并改善与使用手语作为主要交流形式的人们的家庭智能助手的常见互动来推动包容性。

从那时起，罗彻斯特理工学院 (RIT) Golisano 计算与信息科学学院的教职员工和学生在无障碍和包容性研究中心(CAIR) 开展了这项工作。CAIR 发表了关于计算可访问性的研究，其中包括许多使用英语和手语双语操作的失聪和听力障碍 (DHH) 学生。

为了开始这项研究，该团队调查了 DHH 用户如何以最佳方式与其个人助理设备进行交互，无论是智能扬声器还是家庭中响应口头命令的其他类型的设备。传统上，这些设备使用基于语音的交互，随着技术的发展，新型号现在包含摄像头和显示屏。目前，市场上的可用设备都不能理解 ASL 或其他手语的命令，因此引入该功能是解决未开发客户群和推动包容性的重要未来技术发展。亚伯拉罕探索了模拟场景，通过设备上的摄像头，技术人员能够观察用户的签名，处理他们的请求，并在设备的屏幕上显示输出结果。

一些先前的研究集中在与个人助理设备交互的阶段，但很少包括 DHH 用户。可用研究的一些示例包括研究设备激活，包括唤醒设备的问题，以及视频、ASL 头像和英文​​字幕形式的设备输出模式。从研究的角度来看，行动呼吁包括收集更多数据，这是手语技术的关键瓶颈。

为了为技术进步铺平道路，了解 DHH 用户希望与设备交互的外观以及他们希望发出的命令类型至关重要。亚伯拉罕和他的团队建立了一个绿野仙踪视频会议装置。一位“向导”ASL 口译员在他们的房间里有一个家庭个人助理设备，在没有被摄像头看到的情况下加入通话。该设备的屏幕和输出将在通话的视频窗口中可见，每个参与者都由研究主持人指导。当聋人参与者在个人家用设备上签名时，他们不知道 ASL 口译员正在用英语口语发出命令。一组注释者观看了录像，确定了视频的关键片段，并将每个命令转录成英语和 ASL 光泽度。

亚伯拉罕能够识别用户与设备交互的新方式，例如以前研究中未捕获的“唤醒”命令。