AR & MR 全彩透视技术

1、透视技术类型

透视顾名思义就是用户直接看到设备外部的真实世界，当前有两种技术方案，光学透视（OST）和视频透视（VST）。光学透视就像您带了一个近视眼镜，外部世界的光线直接通过眼镜片进入到您的眼镜当中。视频透视就像您拿着手机照相，外部的世界通过摄像头显示在手机屏幕上，您通过手机屏幕看到外部世界。

2、光学透视

光学透视的显示方案是 通过特殊的透镜设计将数字画面投射到半透明的显示装置。而视频透视的显示方案则是通过相机实时捕捉画面，再和虚拟世界本该呈现的画面融合，最终呈现在显示屏幕上。

优点：光学透视可以做到非常的薄。

缺点：由于光学透视的 光路设计复杂 ，显示的画面 视角有限 ，并且由于光线原因 无法显示纯黑 的画面，以及光学零部件 成本造价较高 ，因此VR设备的厂商们往往选择已经较为成熟的视频透视方案。

当前一些 AR 眼镜采用的此技术方案，如 Nreal Air ， 雷鸟air

3、视频透视（VST）

当你戴上VR头显，需要建立安全区域的时，是不是也能同时看到自己的房间。并且你还可以用VR手柄在房间里圈定一定的安全区域。

这时候，你眼中看到的现实场景和虚拟世界融合的场景正是通过 视频透视技术 实现的

3.1、黑白透视

尽管多数VR设备已经搭载了透视技术，但基于目前VR设备上搭载的RGB摄像头以及产品设计等因素， 现有的VR设备上支持的多数为黑白透视 。

据行业人士透露，黑白透视只需要利用空间定位摄像头以及一些简单的算法，就可以实现不错的透视效果。

3.2、全彩透视

但要做到全彩透视，尽管只是简单的“上色”一步，其背后则又需要考虑多个技术的融合。

目前 ， 全彩透视主要可以分为四步：透视、空间锚点（放置AR物体）、三维重建、环境理解及对象识别。

值得注意的是，与AR设备显示的画面不同，全彩透视技术看到的现实世界，并非是通过人眼直接看到真实世界，事实上，人的眼睛看到的是机器拍摄现实世界场景，并经过处理之后投射在显示屏上的画面。

从黑白透视如何升级到全彩透视？

首先是硬件升级 ，从黑白透视到全彩透视可能会涉及到摄像头的升级，厂商们可能会将VR设备上的RGB的摄像头进行升级，甚至部分设备会配备深度传感器，以实现更高精度、色彩丰富的画面效果。

此前业内也有传闻证实这一点。据悉，相较于Quest 2，quest PRO 搭载了分辨率比Quest 2高三倍、专门设计用于彩色透视的深度传感器和摄像头，其能够实现以假乱真的混合现实体验。

其次在算法上也提高了一定的要求。 由于全彩透视对分辨率、色彩的还原度和准确性要求较高，物体的位置和物体的大小范围一一对应，因此往往需要一套接近实时重构的算法。 这提高了对算法和算力的要求 ，也对头显自身处理计算的能力有了更高的要求

全彩透视优点： 首先是用户活动的场景变大。 用户不再受限于狭小的安全区范围内，可以自由地在房间内选择活动空间，甚至这次你的天花板也可以成为你的新“画板”