作者：VRPinea
做眼动追踪，
他们是认真的！
文 | 青崖白鹿
（VRPinea2023年6月2日讯）现如今，衡量一款VR头显的显示效果是否清晰，最简单直接的指标就是屏幕分辨率，以及PPD（角分辨率）这一重要参数。人类的视网膜中央PPD是60，当眼球保持不动，核心视场角大致为水平120°、垂直70°。通过计算，可以得出人眼视野范围的像素极限是1亿1600万像素，转化为屏幕分辨率就是24K。
（（人眼视野范围示意图）
不过，以目前的科技水平，连16K都尚在实验室中，更遑论24K。但如果加上注视点渲染功能，将眼球注视区域的分辨率大幅度提高，就能够实现注视点20°范围内图像分辨率的大幅度提升。如此，在不久的未来，核心区域24K的分辨率，还是有机会得以实现的。
（注视点渲染效果图）
上述提到的注视点渲染功能，正是眼球追踪技术的应用方向之一。本期XR长谈的主角，七鑫易维，就是国内唯一一家，并且是全球TOP 2级别的眼球追踪专业解决方案商。
本期XR长谈嘉宾：
路伟成：七鑫易维副总裁，负责XR眼球追踪相关的产品，以及市场推广方面的业务。
黄文凯：七鑫易维XR产品内容生态负责人
（编者按：本期XR长谈嘉宾有两位，因此，正文部分的回答内容，会综合两位嘉宾的观点，并作简要整理。）
（左：老缪 中：路伟成 右：黄文凯）
七鑫易维的发展路径
Q：七鑫易维早期是从事医疗辅助器械研发的，最早是谁想到，把七鑫易维的眼球追踪技术引入到VR/AR的硬件当中的呢？
A：我们公司2009年成立，当时市场上还很少有VR/AR相关的产品和技术。那个时候，我们主要是给渐冻症患者提供沟通辅具，就是用眼睛和电脑进行交互，类似于霍金使用的那套设备。到了2014年，VR的概念忽然就火起来了。
我们其实一直就知道，眼球追踪技术可以用在VR上，之前因为这类产品比较少，我们就在医疗上先做了。2014年火了之后，我们就跟国内的VR/AR企业，开始进行了很密切的沟通合作。我们最早是自己先在Oculus上做了一个内部研发的改装版本，真正的产品则是跟HTC合作的一个配件式产品，在2016年，那个时候，真正量产推向市场，我们是全球第一个做出来的。
（眼球追踪沟通辅具概念图）
Q：目前市场上能够看到的，有Quest Pro、PS VR2这些已经标配了眼球追踪方案的VR/AR硬件设备。那之后国产厂商会有这方面的计划，去搭载七鑫易维的产品作为标配推出吗？
A：我之前梳理了一下，在2022年，我们正式签署合同的VR/AR硬件厂商有9家。其中有一些可能还处于前期的预研阶段，没有量产；但是也有一部分是已经计划量产了的。在这些量产的厂商里，最终产品基本上都是要标准配置我们的这个眼球追踪方案。
因为保密的一些原因不好提及厂商名字，但是可以大概说一下情况。我们和国内厂商合作居多，但也有一家是通过国内厂商，然后与国外的一个大厂去合作的。国内方面，也有一个大厂，他们一直在做这个眼球追踪的VR产品。那还有就是一些国内做了很多年的中腰部的VR企业也是跟我们在合作，做这个眼球追踪产品的标配。
要说区域的话，国内基本上就集中在北京、上海和深圳这三个地方。正好是北京有一家合作得比较好的，然后上海有一家正在做集成的，深圳也有一家，正好是在每个城市都有一家合作得比较深入的。
（七鑫易维眼球追踪模块效果图）
Q：在全球范围内，所有眼球追踪领域的科技公司中，七鑫易维的技术水准到底在什么样的一个位置。之后能不能走出国门，迈向世界，成为国产之光？
A：首先在国内肯定是排头兵，第一名。那在全球来讲，其实我们也算是TOP 2，真正对标的竞争对手只有一家公司，就是瑞典的Tobii。其他的一些做眼球追踪的初创公司，跟我们两家公司来比，还是有一些差距的。
我们目前的各项技术指标、各项性能，包括我们在市场推广方面，其实已经跟Tobii算是基本持平的了。当然Tobii主要是欧美的一些市场，它在海外是比较占据主流的，国内的话，还是我们七鑫易维的技术占主流，国内基本上百分之八九十的VR/AR企业合作都是跟我们。
我们也有在布局走向全球市场，前面也有提过，我们现在已经跟海外的一个行业大厂达成了合作。是一款AR眼镜搭配眼球追踪方案的合作，所以我们有望通过这个案例，把我们的技术推广到全球。
（七鑫易维宣传图）
Q：其实作为一个XR设备的配件，眼球追踪更多是面向B端的业务，而不是C端。而B端的业务往往天花板不是特别高，那未来除了医疗、XR以外，还会有哪些行业会用到眼球追踪呢？
A：其实眼球追踪应用领域挺多的，除了医疗、XR之外，在车载上面的应用可能会比较广泛。因为像汽车传统的也有这个叫DMS（Driver Monitor System，驾驶员监控系统）的疲劳监测方案。但它只是用一些简单的基于CV视觉的手段去检测驾驶员的面部，眼睛闭眼之类的情况，对于更早期的一些疲劳以及注意力分散的检测是不精准的。
加上眼球追踪之后，就可以非常精准、比较早期地发现驾驶员的疲劳问题，以及注意力的涣散问题，从而更好地提升驾驶安全性。尤其是在像两客一危这种，涉及公共安全的驾驶场景下，这个就几乎可以说，成为刚需的一个东西，所以我是很看好眼球追踪在未来驾驶领域的应用。
除了在安全上的应用之外，汽车智能驾舱的娱乐交互也是一个方向。现在的汽车基本都配置了娱乐系统，不管是在后座、在副驾，甚至于包括主驾驶位，将来的HUD（Head Up Display，抬头显示）其实会有很多的交互场景。
在车上的交互，不像是拿一个手机，直接触碰就可以了，或者说有电脑可以键鼠操作。它的屏幕往往都是挂在比较远的位置，一般也不能摸得到，像这种情况下，往往就是会用眼球追踪做一些辅助，起一个指向的作用，再结合语音、手势，去做一些交互的功能，这也是在车载里面的一种应用。
还有就是在手机领域，像苹果手机，其实它是带有这个眼球追踪功能的。但是它前期主要没有用在交互上，而是用在安全性方面，作为Face ID的辅助验证机制。从iPhone X开始，只有用户的眼睛看着手机屏幕的时候，才会真正启动面部识别，否则即使别人拿着手机在机主的脸前晃，也不会解锁，同时其实还能起到一定省电的作用。
现在国内的很多手机厂商，跟我们也有比较密切的联系，就是希望把眼球追踪的性能加到手机上面去。其实现在已经有一些国内手机，推出带眼球追踪的机型了，比如荣耀Magic 5。所以下一代的国产手机会更多地去增加眼球追踪的功能，但具体时间点还不好预测。
（眼球跟踪应用示例）
VR/AR硬件上的眼球追踪
Q：现阶段的VR/AR硬件，是通过眼球追踪来补足它的短板，还是说能够大幅度增加它的长板。
A：我觉得这个是相辅相成的，第一个是天生优势，因为VR作为载体而言，天生就适合搭载眼球追踪模块，而不是说，非得在其他的环节，比如说平板上加这么一个东西。VR在佩戴的时候，镜筒边缘就天生适合安装这个东西。
第二，它加了这个东西以后，无论在交互，还是在硬件的画质提升，包括性能的一个提升上，的确会起到很大的作用。所以说这个今后肯定是一个趋势，各家也都会装，就像之前大哥大没有摄像头，但现在的智能手机都有摄像头一样，会成为一个标配。
因为对于VR来讲，当其他的一些基础问题解决了之后，如显示、重量、体积、6Dof追踪等问题达到一定水准之后。就会发现面临着一个很大的问题，如果以我们目前VR的这个算力去运行一些比较好的3A游戏大作，算力是捉襟见肘的，那要解决这个问题，注视点渲染是一个刚需。这一点几乎是没有办法去规避的，因为屏幕的清晰度就那么高，短时间没法提升，只有通过注视点渲染去提升。
（七鑫易维宣传图）
Q：其实我一直有个疑问，无论是哪个VR/AR硬件厂商的眼球追踪版本，加价/溢价的程度都是很高的，好像要贵个两三千块钱。
A：其实价格问题也是产品发展的过程中都会遇到的一个问题，因为之前眼球追踪在VR里的渗透率还是比较低的。那就意味着给VR配套的眼球追踪模块数量还比较少，数量比较少的话，价格相对来讲就好像贵很多。
但随着往后这个渗透率提高，比方说提高到百分之七八十、百分之八九十，甚至达到百分百。那个时候，眼球追踪配套的数量大幅度提升了，整体的价格成本就会降低很多。也就是说，当未来提升到很高的渗透率之后，带眼球追踪版本和不带的，可能就会相差一两百块钱，所以，这个价格问题在未来不会是什么大问题。
Q：其实很多XR的用户或者资深玩家，都会觉得说眼球追踪就只有眼部捕捉这一个概念，但其实眼球追踪是有很多方向的，可以简单介绍一下吗？
A：现在可能说PS VR2出来之后，大家都知道了眼球追踪还有注视点渲染的功能。这是在近未来的这段时间内，硬件领域方面，面向市场可以做直接应用级别的一个功能，其次就是IPD的调节。现在有些硬件厂商带眼球追踪的设备，它是能够自动地去调节这个IPD的，通过自动马达实现。
软件方面近期应用比较多的，可能是表情追踪，面向VR社交类的应用，会是一个将来必不可少的应用场景。因为Avatar如果说只有身体其他部分的追踪，但是面部表情没有眼睛的动作，就会显得很假。
（眼球追踪技术的七大应用方向）
眼球追踪技术的发展路径
Q：其实现在的研究中，绝大多数的眼球追踪方案，是以红外辅助CV视觉为主，那未来的一个技术升级路径会是什么样的情况呢？
A：短期来看，是这个角膜反射法，就是由LED开膜这种方案去做。这个方案会有一些小的进展，比方说我们正在做的，就是继续优化那种LED灯比较少，甚至只有一个LED灯的方案。相对来讲，这种方案的准确度和原来的带灯方案比会稍微差一些。但其实在很多场景下，VR/AR设备更注重的是功耗、外观、结构这些，所以我们就在不断地优化这种只有单灯的方案，这个方案对这个外观来讲会是一个比较好的优化，而且功耗也比较低。
除开我们现有路线的一些推进优化之外，我们也在布局一些新的技术路线，比方说基于DVS（event-based camera，事件相机）等技术的新方案。但这些技术路线比较新，目前它的成熟度或者量产的可用性还稍微低一些，所以是需要一段时间，我觉得怎么也得两三年的时间才能把它做得比较成熟，实现真正的量产。这些技术，我们现在都在积极地往前推进，也在做上下游的沟通。
Q：其实从底层技术的逻辑来分析，眼球追踪是一个图像识别的算法。那无论是基于摄像头也好，或者说红外也好，这一块的技术壁垒高吗？
A：我觉得更多还是沉淀吧，因为眼球追踪如果仅仅从这个基本原理上看，好像不是很复杂。但是它的难点在于人眼的生理差异性比较大，就是不同的人种，甚至是同一个人种，同一个年龄段的不同的人，他眼睛都会有很大的差异。
还有包括可能眼睛会出现各种各样的问题，近视的、远视的、散光的，或者是有人爱化妆，眼睫毛画得很长，包括戴隐形眼镜等等，实际情况是非常多的。你只是说我研发出来一个基础算法，能够有一小部分人很准，这个是不难的。难的是你要把这个产品推向市场，那一定要绝大多数人都是好用的，只要有一部分人不好用，这个技术可能就很难推广开。
这就意味着，面对不同人的，不同眼睛的所有情况都能够适配，这个需要长时间的积累。像七鑫易维积累了十几年，各种各样的眼睛，包括不同人种的、不同年龄的、不同性别的各种眼睛，都进行了数据的采集和分析，才能让这个算法一步一步地成熟起来。
其他的厂商因为进来得晚，遇到一种新的没有遇到过的情况，会发现这种情况他用户就不好用了。所以这个没有办法说，通过突击的方式去把技术完善，这需要不断地积淀，这是一方面。
另外一个方面就是专利的积累，我们公司目前已经有500多项专利（全球专利申请总量），其中超过2/3都是发明专利，这个专利数量也是TOP级的，基本上也算全球领先。其他一些小公司专利的数量远远不及我们，这也形成了一个很高的知识产权的门槛。
这两个门槛是很高的，其次就是说还涉及一些个人隐私安全的问题。因为会有一个大量的人的生物数据采集，那就涉及了国家安全。可能这点来说，我们在中国是非常有优势的，因为中国涉及数据安全的问题，这些数据是不能拿给外国公司的，所以我们在国内来讲，也是有一些优势的。
（眼球追踪技术原理示意图）
Q：两位觉得说，像眼球追踪真正能够得到普及，除了因为注视点渲染能够大幅度提高分辨率以外，还会有某一个标志性的应用点吗？
A：我觉得除了注视点渲染，就是可能在未来很短的时间内，成为一种推动眼球追踪渗透率最高的一个场景就是虹膜识别或者说身份识别。因为这个一旦在VR/AR流行了，就涉及大量的购买行为，会产生支付需求。这个时候就会发现，传统的手段都不是很方便。但虹膜识别是非常高效快捷，并且高安全性的一个选择。
其实虹膜识别，比这个人脸识别、指纹识别的安全性都要高一个量级。它在传统的智能手机用得不多，是因为手机有一个对准的问题，不好对准的话，效率就比较低。但VR/AR没有这个问题，设备一戴上自然就对准了，效率会很高，所以未来这个点会是一个刚需。
还有就是有一些可能没那么刚，但是也比较刚的需求。比方说这个IPD的调节，比方说表情的追踪，这些就是它的应用场景是比较广泛的，即使不是百分之百也是非常广泛的。这几个点我觉得需求甚至会比交互更强烈。因为交互是大家比较容易意识到的，但实际上它的需求，可能并没有那么强烈。
Q：那眼球追踪基于CV视觉做虹膜支付，会不会存在安全性的隐患呢？
A：我觉得安全问题不用太担心。首先，在VR/AR的系统、芯片这些层级上，就会去考虑安全性的问题，比方说高通Trustzone芯片之类。也就是说，采集到的用户的眼图数据，它会自动放在安全区域里，不会有被其他人盗取或者拿到的风险。
另外，我们自己拿眼球追踪做虹膜识别之后的这些数据，肯定也是要遵循相关的各种安全规定。在没有经过用户允许的情况下，这些信息是都不会泄露的，会比较安全。其实这个跟Face ID很像，更多的都是HMD的大厂或者是芯片厂去控制的，对于我们来说，只是给他一个判定的结果。
就像无论是Face ID还是Touch ID，它总体的数据库还是在苹果那边去管理，其实支付平台取到的只是一个结果，并没有中间的过程。这样能很好地规避一些安全性的问题，包括还有隐私性的一些问题。
（眼球追踪渲染图）
结语
近两年的时间，眼球追踪技术的发展态势一片向好，不仅是在可预见的未来里将成为消费级VR/AR产品的标配，而且还在诸多领域遍地开花。
对于位列眼球追踪领域，全球TOP 2级别解决方案商的七鑫易维来说，多年的辛勤播种，终于等到了享受丰收喜悦的时候。就像七鑫易维的两位高管在采访中所说的那样，早年持续的研发投入与专利积累，为他们建立了宽广的技术护城河。得益于此，相信七鑫易维能在未来的发展中，走得更快、走得更好。
本文属VRPinea原创稿件，转载请洽：brand@vrpinea.com
评论