眼睛说话的雄辩和真实，胜过于言语。 

                    ——塔克曼

文｜感光现象 

  WWDC23上，Apple Vision Pro发布，空间计算革命开启，也带火了眼动追踪！

  事实上，大脑中大约有80%的知识都是通过眼睛获取的。 

  眼睛是注意的窗口，人类利用该视觉系统可以从外界获取大量的信息，由此产生的眼动特征能提示人们的认知规律。

  “眼动追踪”，最早是作为心理学研究的一项技术，可以实时、准确地记录人们观察场景信息时的眼球运动情况。现在，眼动追踪作为一种科学技术手段，已被广泛地运用于各个领域之中。

1    被低估的眼动追踪技术
 

  设想一下。

  你是否会给你的视野加上各种滤镜？如果阴天让你心情不好，你是否会选择用一个晴天滤镜替换它？窗外那一排建筑，你想不想换成一条大瀑布？还有这无尽的混凝土城市，希望它成为一片郁郁葱葱吗？

  如果每天都能看到或者和这些令人愉快的个性化场景进行交互，并且只需要动动眼睛就行，你觉得怎么样？

  作为一名科幻作者和设计者，Damien Lutz擅长对未来的科技进行详细设计，在其小说《The Lenz》中，他研究了用眼睛控制的增强现实隐形眼镜，可以让人全天候获得100%的增强视场。

  虽然现在有少量关于眼动控制技术的界面或者研究文章，但真正的消费级产品还没有被定义。那么这样100%视场、全天候、眼动控制的增强现实界面会是什么样子的呢？如果这样的技术成为现实，我们的注视以及与我们交互的场景会不会成为价值连城的新数据源呢？ 
  

  正如艾迈斯欧司朗的市场经理Monica所说，“我们的眼睛是人体的头号传感器，而以此延伸的注意力计算在消费者和工业领域都在不断增长。”

  事实上，业界一直认为，AR/VR设备发展至今以来，眼动追踪技术一直是被XR行业低估的技术。
 

2    眼动追踪，关注你的“关注”

  利用传感捕获、提取眼球特征信息、测量眼睛的运动情况，估计视线方向或眼睛注视点位置，预测用户的状态和需求，并进行响应和交互……眼动追踪技术研究的主要方向即眼球的注视点看向哪里、何时看、看多久，并以此为依据去捕捉用户情绪。
 

  相比最原始的眼电图EOG法、巩膜搜索线圈法以及当下大厂或头部公司还在探索尝试的创新技术路径，比如眼睛影响捕获、通过视网膜影像变化、图像计算进行注视点追踪、视网膜-角膜反射法等，目前最普遍的眼动追踪技术还是瞳孔角膜反射法：即通过低功率主动近红外照射人眼，使用传感阵列捕捉近红外图像，处理近红外信号获得眼部特征，估算注视方向、注视点。

  *图源：璞跃中国移动出行团队

  而视线追踪仪、移动终端眼动仪、AR/VR设备、可穿戴眼动仪为4大类眼动追踪硬件应用的主流设备。

  这4类硬件产品多采用基于红外光的瞳孔角膜反射法，各有优劣：视线追踪仪精度最高、可视范围大，能保证头部运动空间，应用在驾驶研究、飞行器、实验室固定场景应用；可移动的眼动仪适用更小显示屏幕，可以随身携带，实时收集定量化眼动数据并分析；VR/AR设备，主要应用在游戏和医疗环境等领域，但现阶段应用场景非刚需且定价高。

  由于艾迈斯欧司朗本身在传感、光源、可视化领域的深厚积累，加之感受到了市场和客户的紧迫需求，AR/VR也是其近年来发力的重点领域。

“将各项技术优势整合起来，我们能为AR/VR提供屏幕管理、眼动追踪、手势识别、近眼显示、佩戴检测等等这些维度的解决方案，”Monica介绍道，“但若要想为消费者带来良好的交互体验，眼动追踪必不可少。” 

  “在AR/VR设备中，眼动追踪的系统包含近红外光源、高分辨率摄像头、以及图像处理相关的算法，三足鼎立，缺一不可，”Monica补充道。

  如此，才能保证当用户通过AR/VR系统看世界的时候，这个系统也反过来在看你，观察你。只有这个系统读懂了你，知道你的眼睛正在盯着什么地方，它才能更好地完成动感交互，更好地实现用户体验。

  目前，仅近红外光源，艾迈斯欧司朗就提供6款超小尺寸的红外LED，覆盖850nm和940nm波长。其中，850nm产品具有摄像头高敏感性，940nm波段则可以更好弱化红暴现象。同时，在不同封装尺寸、贴片方向和发光角度方面，艾迈斯欧司朗也给客户提供了更多灵活选择。

  而在图像传感器维度，艾迈斯欧司朗的Mira系列传感器一直备受关注。以Mira220为例，这是一款220万像素全局快门式传感器，拥有高量子效率，可搭配使用低功率发射器，无惧昏暗的照明条件，兼具低功耗和小尺寸特点，非常适用于AR/VR设备、智能眼镜、无人机及其他消费及工业应用。

3    眼动追踪技术加速落地AR/VR设备

  多年来，眼动追踪一直被认为是AR/VR一项遥远的技术。伴随着以 Tobii、七鑫易维为代表的供应链技术的成熟，AR/VR开发需求的叠加，从 2022 年以来，越来越多的AR/VR设备开始配备眼动追踪技术，PS VR 2、Quest Pro、Vive Pro Eye 和 PICO 4 Pro 是目前AR/VR消费市场中最典型的商用案例。
 

  而在这之前，不少大厂已经开启了技术布局，根据公开信息梳理： 
 

  2014年末，三星投资了FOVE，主打眼动追踪的VR头盔；

  2016年10月，Google收购专注于眼动追踪的初创公司Eyefluence，布局AR交互；

  2017年初Facebook旗下Oculus确认收购TheEye Tribe，将眼动追踪技术用于改善产品；

  2017年6月，苹果公司收购了德国计算机视觉公司SensoMotoric Instruments（SMI），致力于打造苹果XR设备；

  此外，高通和英伟达则选择与七鑫易维合作，专注VR底层的优化；另一方面巨头们也一直源源不断地提供在AR智能眼镜上眼动追踪技术实施方案的国际专利。

  通过AR/VR设备的眼动追踪技术不仅可以真正实现“既见即所得”，或许未来有某种可能，眼动追踪可以成为AR/VR移动终端的流量入口，眼动追踪不仅可以第一时间获取用户的需求，而且还可能开创一种全新的用户数据类型-眼动数据，眼动数据可以记录大量用户平时间的感兴趣的物体图像。

  在由璞跃中国移动出行团队整理的“眼动追踪算法层面关注的十大常用指标”中，注视点的分析和AOI（兴趣区Area of Interest）的序列分析被列为眼动追踪分析系统的重点。

  *图源：璞跃中国移动出行团队

  近两年，眼动追踪技术落地势头猛烈，预测在未来几年内或可看到该技术成为消费级 VR/AR设备的标配。

4    更多想象，不止注视点渲染

  注视点渲染（Foveated Rendering）是大多数人对于眼动追踪技术的第一印象，它旨在降低显示要求苛刻的AR/VR场景所需的算力。

  注视点渲染旨在通过仅在人眼中央凹看到的区域以高分辨率渲染虚拟场景，利用人类视觉特性，大幅降低周边视觉中无法仔细分辨的细节场景显示质量。这样做可以让我们将AR/VR设备大部分处理能力集中在对画面细节贡献最大的地方，同时在其他地方节省运算资源。
 

  特别是后期伴随AR/VR设备显示分辨率和FOV的提高，渲染复杂场景所需的功率也会相应提升。此时眼动追踪自然会发挥出最大的作用，成为提高近眼显示质量和节省设备资源的最佳调解器。
 

  虽然注视点渲染是眼动追踪在AR和VR头戴式设备中的一个令人兴奋的技术场景，但眼动追踪的作用不仅于此。基于眼动追踪技术与更多AR/VR软硬件的“串联”，可以开启更多产品功能，显著提高用户体验：

  注视点显示，提高分辨率质量：注视点显示不是仅仅是改变屏幕显示中某些部分的渲染细节，而是实时跟踪渲染，无论用户看向哪里，它都始终保持在用户视线的前面。

  眼神交互带来更自然的XR社交：精确的眼动追踪数据可以很容易地应用于VR数字化身，以表示用户何时眨眼睛，以及他们在看哪里。它还可以解锁有意识和无意识的非语言交流，甚至可以用来推断一些情绪，而这些情绪可能会反映在化身的脸上。

  比如以社交起家的Meta一直在推动次时代VR硬件上的社交，如Quest Pro就具有眼动追踪和面部追踪功能，为虚拟形象带来了更真实的表达。

  个体识别、XR支付、自动IPD调整：除了检测眼球运动外，眼动追踪还可以用作生物识别符。这也使得眼动追踪成为单设备、多用户差异化账户配置的理想选择——当不同用户戴上 XR 头戴设备时，系统可以加载他们对应的偏好设置和应用数据。当然，这里涉及在眼动追踪模组中加载其他生物识别算法（如虹膜识别）。

  此外，眼动追踪还可用于精确测量IPD（瞳距），这对XR设备尤为重要，因为需要将镜头和显示器移动到最佳位置，方能使用户获得舒适的视觉效果。

  意图理解与分析，适用于VR游戏开发：同时，通过用户眼球的追踪，眼动追踪对于被动地理解玩家的意图和注意力也非常有用。

  除了这种实时的意图理解，眼动追踪对分析也非常有用。通过收集有关用户正在查看的内容和时间的数据，开发人员可以更深入地了解他们的应用程序是如何被使用的。

  主动输入：远距离抓物，提升交互效率：当然，眼动追踪对于主动输入也很有用，允许用户有意识地利用他们的目光使游戏任务更容易完成。可以预测，当XR成为一个真正高效的通用计算平台时，眼动追踪输入将发挥重要作用。

  动态变焦：当前的 VR/AR/MR头戴式显示设备经常存在所谓的视觉辐辏调节冲突（vergence-accommodation conflict，简称“VAC”），通常立体图像能够驱动用户的人类视觉系统的聚散状态至任意距离，但在头显中用户眼睛的调节或聚集状态被光学系统驱动到了一个固定的距离，因而会导致人眼疲劳，甚至是恶心和头痛。

  而实现这种可驱动的变焦显示器正需要眼动追踪，通过从用户的每只眼睛追踪进入虚拟场景的路径，系统可以找到这些路径的交点，从而建立用户正在查看的正确焦平面。

5    更多应用，不止AR/VR设备

  事实上，除了AR/VR行业，在汽车座舱内，眼动追踪也有较大的应用前景。眼动追踪与车的结合，目前还在比较创新、试点验证的阶段，尚未量产上车。

  从场景上看，可以分为三类：驾驶员认知情况检测、多模态的交互、车辆控制反馈。其中能应用于眼动相关的技术点都与交互和检测、控制相关。比如车辆控制上，可以通过注视点判断、注视时长控制车窗高度，提高仪表亮度等。此外，例如还可将眼动追踪和DMS系统融合，用于检测驾驶员的注意力。

  随着眼动追踪技术及产品的成熟发展，会倒逼一级供应商及车机、车规级摄像头产商考虑眼动跟踪的需求，在成本核算有较大盈利空间的前提下，配合车企做创新性的产品，因此也有较大的应用市场空间。

  此外，眼动追踪在医疗保健和研究领域也有广泛的应用，例如有些公司正在使用带有眼动追踪功能的头戴设备来检测脑震荡，据称可以提高现场诊断的效率。