新颖的软件可以识别日常情况下的眼神接触

人眼接触是重要的信息来源。然而，计算机系统在日常情况下识别眼神接触的能力非常有限。萨尔大学和马克斯普朗克信息学研究所的计算机科学家现已开发出一种方法，通过该方法可以检测目光接触，与目标物体的类型和大小，摄像机的位置或环境无关。

“直到现在，如果你要在行人专区挂一张广告海报，你就无法确定有多少人真正看过它，”萨尔兰大学和马克斯普朗克信息学研究所的Andreas Bulling解释道。以前系统试图通过测量凝视方向来捕获该信息。这需要特殊的眼动追踪设备，需要长达数分钟的校准，并且受试者必须佩戴跟踪器。现实世界的研究，例如在步行区，甚至只是与多人一起，在最好的情况下是非常复杂的，在最坏的情况下，是不可能的。

即使使用放置在目标海报上的相机进行机器学习，也只能识别相机本身。通常，训练数据与目标环境中的数据之间的差异太大。在固定和移动情况下，跟踪一个用户或整个组，或在变化的照明条件下，开发适用于小型和大型目标物体的通用眼接触探测器是非常困难的。

与研究人员Xucong Zhang和Yusuke Sugano一起，Bulling开发了一种基于新一代算法的方法来估计注视方向。它们使用特殊类型的深度学习神经网络，处于工业和商业的许多领域的最前沿。Bulling和他的同事已经在这种方法上工作了两年，并逐步推进了这一方法。在他们现在呈现的方法中，进行所谓的凝视方向的所谓聚类。通过这种策略，可以根据各种特征区分苹果和梨，而无需明确说明两者的不同之处。

在第二步骤中，系统识别最可能的聚类，并且所得到的凝视方向估计用于训练目标对象特定的眼睛接触检测器。该过程的决定性优点在于它可以在没有用户参与的情况下执行，并且该方法得到改进，相机保持在目标对象旁边并记录数据的时间越长。“通过这种方式，我们的方法将普通相机变成了眼睛接触探测器，而不必事先知道或指定目标物体的大小或位置，”Bulling解释说。

研究人员在两种情况下测试了他们的方法：在工作空间中，摄像机安装在目标物体上; 在日常情况下，用户佩戴体上相机。由于该方法为自身提供了知识，因此即使涉及的人数，照明条件，相机位置以及目标对象的类型和大小不同，它也是健壮的。

然而，Bulling说，“原则上，我们可以只用一台摄像机识别多个目标物体上的目光接触星团，但是这些星团的分配还不可能。我们的方法目前假设最近的星团属于目标对象，并忽略其他集群。这个限制是我们接下来要解决的问题。“ 然而，他说，“我们提出的方法是向前迈出的一大步。它不仅为自动识别眼神接触并对其作出反应的新用户界面铺平了道路，而且还为日常情况下的眼神接触测量铺平了道路，例如室外广告，以前不可能。“