英伟达的 VR 探索之路:图像渲染

[转] https://www.leiphone.com/news/201712/lmC4klSfIiYBu9yX.html

       https://www.leiphone.com/news/201712/Vjb63sg37VOpcJ70.html


本文作者为 NVIADIA AR & VR 研究小组的科学家 Morgan McGuire,在本文中,他详细介绍了电影、游戏的图像渲染,与现在 VR 图像渲染的不同之处,以及 VR 在图像渲染方面临的挑战。同时,他还讲述了英伟达如何通过 GPU 和相关软件,来解决这些问题的。这是文章的第一部分,雷锋网编译如下。

作者介绍:Morgan McGuire 博士是 NVIADIA AR & VR 研究小组的科学家。他在 Activision 和 THQ的系列游戏 Skylanders、Call of Duty、Marvel Ultimate Alliance 和 Titan Quest 制作中都有所贡献。Morgan 还是 Graphics Codex 和 Computer Graphics:Principles & Practice 的共同作者。同时,他也在滑铁卢大学和威廉姆斯学院担任教职。


英伟达的 VR 探索之路:图像渲染 (上)

NVIADIA Research 的研究遍布全球,我们的科学家和当地的大学都有着密切合作。我们的研究领域包括自驾驶、机器人和游戏电影图像等多个应用方向。

英伟达的 VR 探索之路:图像渲染 (上)

我们在虚拟体验上的创新技术你可能已经听说过一些,比如焦点渲染技术(foveated rendering),变焦光学,全息摄影和光场。这篇文章将会详细描述我们目前的研究工作,更重要的是展示出,我们是如何通过一系列的研究掀起计算机与现实交互的变革。

NVIDIA 一直致力于做世界上最好的 GPU。在研究中我们的角色在于跳出稳步改进的产品周期,寻求革命性的改变和新的应用。我们正在将虚拟现实从早期的概念变为一场计算机的革命。

研究愿景

我们的愿景是:在未来, VR 将会成为所有计算机的界面形式,它将代替手机屏幕、电脑显示器和键盘、电视和遥控器,还有汽车仪表盘。我们方便起见,文章中用 VR 来代表所有虚拟体验(无论你带上戴上头戴显示器时,是否能同时看到现实世界)。

我们将目标设定为所有计算机界面,是因为我们在 NVIDIA 的任务是创造出革命性技术,而只有当一个技术成为人们的日常使用,才能被称为真正的革命性。一个技术,必须彻底渗透进我们的生活,才能真正产生影响。最重要的技术就是那些我们习以为常的东西。

如果我们的目标是所有计算机和广泛存在的界面,那就不得不提到游戏的 VR 体验。如今,游戏已经成为  VR 应用的一个重要领域。NVIDIA 已经拥有了相关产品,并且我们的 GPU 架构也为新的 VR 功能提供了基础。NVIDIA 非常重视游戏领域,我们坚信 VR 会为游戏带来新的惊喜。但是,VR 的真正潜能可不仅仅是游戏,因为游戏只是计算机的一部分。因此我们从 VR 游戏开始,但技术已经扩展至与计算机相关的工作、社交、健身、医疗健康、旅行、科技、教育各个领域。

NVIDIA 在这场 VR 革命中有着特殊的地位和贡献。在 1999 年推出现代 GPU 之前,我们就曾改造过消费级计算机,为其提供了高性能的计算。而在今天,你的电脑、平板、手机、汽车和电视中都有我们的 GPU,它们为你提供了曾经只能在超级计算机中实现的高算力。多亏了设备中无处不在的 GPU,如今的我们都能享受升级的高生产力、便捷的使用和各种娱乐应用。

英伟达的 VR 探索之路:图像渲染 (上)

为了让 VR 成为我们生活中不可或缺的一部分,VR 系统必须更加便捷易用且便宜耐用。所以我们正在构建新的头显技术:使用激光和全息图的轻薄眼镜代替目前笨重的 VR 头显,它可以应用在各种平板、手机、笔记本电脑上,操作也更加简单,并且可以在 AR/VR/MR 三种模式间轻松转换,同时它将搭载新的GPU 和图形软件。

所有这些创新都为计算机交互指出了一个新的发展方向,当然也提出了新的要求:不仅仅需要新的设备或软件,更需要一个全新的 VR 系统。在 NVIDIA,我们正在用尖端工具、传感器、物理学、人工智能、处理器、算法、数据结构和展示技术来创造这种系统。

NVIADIA Research 秉承着开放的思维,通过发表期刊和开源代码来分享我们的研究成果。首先,为了阐明我们对未来 AR/VR 的构想,我们需要了解现有的电影、游戏和 VR 系统是如何运作的。

电影图像渲染

现在的好莱坞动作大片通常会混合真实人物和计算机生成图像(CGI)来呈现惊人的视觉效果。目前的 CGI 技术已经非常成熟,好莱坞布景甚至可以全部通过计算机生成。在 2016 年的《死侍》中,场景编排中的每一个物体都是由计算机渲染而不是真实拍摄的,不仅仅是爆炸场景和子弹,还包括建筑物、车辆和人员。

英伟达的 VR 探索之路:图像渲染 (上)

从技术的角度看,用高视觉保真度来制作这些图像的电影系统可以用下图来描述:

英伟达的 VR 探索之路:图像渲染 (上)

图中分为多个阶段,最左边是创作阶段,接着是粒子、三角形、曲线细分曲面的初步建模,直到最后的渲染器。渲染器使用一种叫做“路径追踪”的算法来模拟虚拟场景中的光线。

渲染之后,还要手动对二维图像进行颜色及合成的后期处理。整个过程在导演、编辑和艺术家的视觉反馈修改中不断循环,直到最终呈现给观众。而电影的图像质量则是我们这种 VR 现实主义者的目标追求。

游戏图像渲染

电影系统演化成一个 3D 游戏设计的类似系统。游戏体现了我们在 VR 交互中对速度和灵活性的追求(即使有些是非娱乐应用)。游戏图形系统如下图所示:

英伟达的 VR 探索之路:图像渲染 (上)

我在这里特别展示了一个延迟着色的管线,这是大多数 PC 游戏所使用的方法,因为它能提供最高的图像质量和流率。

与电影类似,游戏图像系统也从创作过程开始,不过游戏的艺术设计是个较大的循环,因为游戏需要与玩家产生一个交互循环。当玩家看到屏幕上的物体时,他会通过点击按钮与其进行交互。玩家的输入将会进入图形处理管线中一个较晚的帧中。这个过程是“延迟”的,玩家的输入需要花费时间来更新下一帧。为了让玩家获得即时反馈,在传统视频游戏中,这个延迟必须低于 150ms,保持这种低延迟是游戏系统的一个挑战。

然而,有很多因素会增加延迟。比如,游戏使用的是“光栅化”渲染算法而不是路径追踪法,而延迟着色的光栅管线有很多阶段,每一个阶段都会增加一些延迟。同时,跟电影一样,游戏也有很多 2D 后期处理内容,在上面的多阶段管线图中标记为“PostFX”。像流水线一样,这种较长的管线增加了流率,也可以实现高质量的帧率和分辨率,但同时复杂性却牺牲了延迟率。

如果只看图像输出,像素从这条流水线中产出得很快,这也是 PC 游戏拥有高帧速率的原因。但实际上,像素在管线中花费了很长时间,因为这个管线由很多阶段构成。图中的红色竖线表示障碍同步点,它们会放大延迟,因为在这个障碍点上,下一个阶段的像素必须等待上一个阶段的像素被处理完成后才能被处理。

这种游戏图形管线同样可以带来惊人的视觉体验。在精心的艺术指导下,技术人员可以在顶级 GPU 上将游戏画面处理成电影 CGI 甚至是真人电影的画质。比如我们熟悉的电子游戏“星球大战:前线(2017)”。

英伟达的 VR 探索之路:图像渲染 (上)

尽管如此,最好的星战游戏画面仍然比星战电影中的更加静态。这是因为游戏的视觉特效必须根据游戏性能进行调整。这意味着游戏画面中的光影和几何变化无法像大屏幕中那样绚丽。不过你可能已经习惯了这种相对静态的游戏环境。

VR 图像渲染  

现在,我们来看看电影和游戏与现代 VR 有什么不同。当开发者将做游戏的那一套移植到 VR 时,他们遇到的第一个挑战就是规模的增加。游戏中需要的原始图形功耗只有每秒 6000 万像素,到了 VR,每秒则需要 4 亿 5 千万像素。而这只是一个开始,明年 VR 的功耗将会翻倍。

英伟达的 VR 探索之路:图像渲染 (上)

相比于 30FPS 的 1080P 的游戏,Oculus Rift 或 HTC Vive 上 45,000 万像素每秒的功耗,每秒处理的像素数目几乎增加了 7 倍。这也导致吞吐量(Throughput)的增加,因为它会改变像素在图形系统中的移动速度。

功耗的提升是巨大的,而性能上的挑战则更大。回想一下传统游戏中,玩家输入与屏幕像素改变间互动的延迟大约是 100-150ms。但对 VR 来说,我们不仅要增加 7 倍的吞吐量,还要降低 7 倍的延迟。如今的 VR 开发者是如何做到这些的?我们先从延迟看起。

下图所示,延迟即是数据从系统中的左边阶段移动到右边阶段的时间。系统中的阶段越多,吞吐量就会越高,因为处理过程可以并行,但是这也会令管线变得更长,延迟问题就会更加严重。为了减少延迟,则需要减少图中方格和红线的数量。

英伟达的 VR 探索之路:图像渲染 (上)

正如你所预料的那样,为了减少延迟,开发者可以尽可能多地移除管线中的阶段,正如上图中的修改,这意味着在 3D 场景中切换回“上一步”的渲染管线,完成所有处理,而不是在 2D 中多次加入阴影和 PostFX 处理。这会减少吞吐量,牺牲图形质量,但不幸的是,如此方法降低的延迟仍远远不够。

所以现代 VR 解决延迟的关键技术叫做“时间扭曲(Time Warp)”。在这种方法中,屏幕图像的更新可以不经过完整的图形管线。用户头部的追踪数据可以直接进入渲染完成后的 GPU 阶段。因为该阶段更“接近”显示器,所以它可以扭曲已经渲染过的图像以匹配最新的头部追踪数据,而不需要穿过整个渲染管线。在一些预测头部运动的技术配合下,延迟可以被降低到 50ms 甚至是 0。

现代 VR 硬件的另一个关键问题是镜头畸变(Lens Distortion)。一个好的相机光学元件至少包含五个高品质的玻璃镜片。但这是会让头显变得沉重、巨大且昂贵,你不会希望在头上架两个单反相机。

英伟达的 VR 探索之路:图像渲染 (上)

这也是许多头戴式显示器使用两个便宜的塑料镜片的原因。这些镜头轻便小巧,但是图像质量不高。为了校正单一镜片的图像畸变和色差,着色器需要以相反的量扭曲图像。

NVIDIA GPU 硬件和我们的 VRWorks 软件加速了现代 VR 的图形管线。GeForce GTX 1080 和其他 Pascal 架构 GPU 使用一种叫做“Simultaneous Multi-projection”的新功能从多个角度分别同时渲染图像,既增加了吞吐量,又降低了延迟。这个功能提供单通道立体声,使双眼同时呈现透镜匹配的阴影效果,直接渲染预校正的图像,因此性能更好,图像更清晰。同时,GTX 1080 中的 GDDR5X 内存提供了比上一代多 1.7 倍的带宽,而硬件音频和物理技术则有助于创建更精确的虚拟世界,以增加沉浸感。

英伟达的 VR 探索之路:图像渲染 (上)

减少了管线阶段,使用“时间扭曲”,解决镜头畸变,配合一个高效的 PC GPU,现代 VR 系统就此形成。

重塑未来 VR 系统

我们从人类感知的极限中推导出未 VR 的规范。衡量这些的方法有很多种,但若要做出完美的显示,你需要大约相当于 200 个更新速度在 240Hz 的 HDTV。这约等于每秒 100,000 万像素的图像吞吐量。

英伟达的 VR 探索之路:图像渲染 (下)

回忆一下,现今 VR 的图像吞吐量大约在 450 万像素每秒。这意味着未来的 VR 需要将性能提升 200 倍。但是由于高动态范围、可变焦点和现有电影标准对视觉质量和光线的要求,更加现实的性能需求是达到 10,000 倍的提升。并且我们只要 1ms 的延迟。

理论上,我们可以通过提高算力来实现这个目标,但是这样的蛮力并不高效也不经济,蛮力不会让 VR 的使用广泛化。那么,我们可以用什么技术来实现这一目标呢?

渲染算法

  • 焦点渲染( Foveated Rendering)

我们提升性能的第一个方法是焦点渲染——降低用户的周边视觉中的图像质量,提升中心视角中的图像质量,它利用了人类视觉感知的自然特性,在未感知的部分舍弃质量,从而提升整体的 VR 性能。

英伟达的 VR 探索之路:图像渲染 (下)

因为眼睛本身只有在你视野聚焦的地方才有很高的分辨率,所以在视野中央区域以外,VR 系统可以不被察觉地舍弃周边像素的分辨率,从而提高整体性能。不过,它不能在低分辨率上渲染。上面的图像是缩小比例展示的宽视野 2D 图像。如果你在 VR 中注视时钟,那么左边的公告牌就在你的中心视野外围。如果只放弃顶部图像中的分辨率,就会立刻产生块状图形和视觉对比度的变化。你的眼睛会察觉到这些变化,你会觉得眼角部分的图像发生了改动或者感到模糊。我们的目标是计算生成低分辨率图像所需的精确优化量,并使外围低分辨率的模糊图像能够与人类视觉精准匹配,让用户的 VR 视野如同真实视野一样完美。

  • 光场(Light Fields)

为了加速 VR 渲染逼真的 VR 图像,我们正在考虑三角形网格外的渲染图元。在与麦吉尔大学(McGill University)和斯坦福大学的合作中,我们使用光场来加速照明计算。不同于现有的仅展示物体表面光照情况的 2D 光线地图,光场面对的是一个 4D 的数据结构,可以存储空间中所有光线可能的方向和角度。

英伟达的 VR 探索之路:图像渲染 (下)

光场可以产出场景中所有表面的反射和阴影,甚至是动态角色。这也为统一光线跟踪质量和环境探测器及光照地图的性能打好下一步基础。

  • 实时光线跟踪(Real-time Ray Tracing)

那么真正运行时的光线跟踪是怎么的呢?NVIDIA Volta GPU 是目前世界上最快的光线追踪处理器,而 NVIDIA Pascal GPU 系列是消费级中最快的。Pascal 的速度约为 10 亿次/秒,这个速度完全可以取代现有VR 的主光栅器或阴影地图。那么如果用这个技术来解锁管线的话,光线追踪可以为未来的 VR 带来什么呢?

答案是:光线追踪可以帮助 VR 做很多事情。在进行光线追踪时,你根本无需使用阴影地图,从而直接消除一个延迟障碍。光线追踪本身就可以分别渲染红色,绿色和蓝色,并直接渲染镜头中的桶形失真图像。所以,它无需再对镜头畸变进行处理,也因此减少了相应的延迟。

事实上,当进行光线追踪时,渲染像素离散帧的延迟可以被完全消除,因此,这里实际上已经没有了典型意义上的“帧速率”的概念。我们可以将 GPU 生成的每个像素直接发送到显示器中,这种方法被称为“波束竞速(beam Racing)”,同时这也消除了显示同步性。这样一来,图形系统中的高延迟障碍将降为零。

由于没有像在光栅化中的平面投影,光线追踪技术也解决了 VR 的视场问题。栅格化取决于 3D 到 2D 图像中保留的直线(例如三角形的边缘)。但 VR 则需要一个更宽的视场,它需要一个鱼眼投影,将 3D 图像弯曲到 2D 显示屏中。光栅器会将 3D 图像分解成多个平面来进行仿真。而如果使用光线追踪技术,你可以直接将一个完整的 360 度视野的图像直接渲染到球形屏幕上。光线追踪本身也支持混合的图元:三角形,光场,点,三维像素,甚至是文本,从而在内容优化方面提供更大的灵活性。现在,我们正在研究如何让所有的这些渲染速度比传统 VR 更快。

光线追踪除了可以减少 VR 渲染的延迟和增加吞吐量之外,它的另一个特征就是可以提升图像质量。回顾本文开始所提到的,电影渲染的图像质量取决于“路径追踪”的图像算法,它其实是光线追踪的一种扩展。如果我们把它转换为基于光线投射的渲染器,VR 图像的质量将会上升到一个新的水平。

实时路径追踪(Real-time Path Tracing)

虽然我们现在已经可以进行实时光线追踪,但路径的实时追踪仍然是一个很大的挑战。因为路径追踪的计算密度大约是光线追踪的 10,000 倍。这就是为什么电影的每一帧都需要花费几分钟而不是几毫秒来生成。

在路径追踪下,系统首先追踪来自摄像头的光线,以寻找可见的物体表面。然后再向太阳方向投射另一道光线,检查该表面是否在阴影中。但是,场景中的光线不仅仅是直接来自太阳的。有些光线是间接的,比如从地面或其他表面反射的光。因此,路径追踪器后续会递归式地随机投射,对间接照明进行采样。同时,在这个点上,还需要一个阴影光线投射,以及它自身的随机间接光线投射……这个过程将一直持续到追踪器在每条单一路径上都追踪到约 10 条光线。

但是,如果一个像素只有一条或两条路径,由于随机采样过程,图像的噪点会很多。它看起来就像这样:

英伟达的 VR 探索之路:图像渲染 (下)

电影图像解决这个问题的方法是追踪每个像素上的数千个路径。每条路径上十条光线,一共有成千上万条路径,这就是为什么路径追踪比单独的光线追踪的成本高 10,000 倍的原因。

为了提升 VR 路径追踪图像的质量,我们需要一种方法,对每个像素只采样几条路径,同时避免随机采样的噪声。多亏了创新的焦点渲染技术,我们认为这个目标很快就能实现。焦点渲染只需要对图像中心的路径进行详细分析,并且无需追踪更多的光线,便可以进行图像去噪,即将粒状图像直接转换为清晰的图像。

今年我们与麦吉尔大学,蒙特利尔大学,达特茅斯学院,威廉姆斯学院,斯坦福大学和卡尔斯鲁厄理工学院合作发表了三篇研究论文,都是在解决去噪问题。这些方法可以将一个布满噪点的实时路径跟踪图像转化为清晰的图像,如下图所示:

英伟达的 VR 探索之路:图像渲染 (下)英伟达的 VR 探索之路:图像渲染 (下)

只用几毫秒的计算,也没有额外的光线,其中的两种方法都使用了 GPU 的图像处理能力来实现。一个使用了 NVIDIA GPU 一种新的人工智能处理能力。我们对神经网络进行了数天的去噪训练,现在它可以自动在数十毫秒内进行图像去噪处理。我们正在增加这种技术的复杂性,并且不断训练网络来降低成本。这个方法令人兴奋,因为它是我们近期发现的几种新方法之一——以一种意想不到的方式,利用人工智能来提高计算机图形质量,并创作出新的 3D 动画内容,为VR世界的普及做出贡献。

计算型显示器

现在的 VR 头显中的显示器是相对简单的输出设备。显示器本身几乎不做任何处理工作,只是显示输出的数据。尽管这样的显示器对电视、监控和智能手机来说已经够用了,但在改善 VR 体验方面,显示器本身仍然有巨大的提升潜力:显示器可以更加智能,不仅显示内容,同时显示用户的状态,我们正在探索几种头显显示器的计算处理方法,试图将VR的极限再向前推进一些。

解决视觉辐辏调节冲突问题(Vergence-Accommodation Disconnect)

VR 显示面临的第一个挑战就是焦点问题,即所谓的视觉辐辏调节冲突。目前市面上所有的 VR 或 AR 设备都将用户的视觉焦点强制在 1.5 米远的位置,这会有两个缺陷:

1、当你在 VR 中注视远处或者近处的物体时,你两只眼睛的视觉辐辏与视觉焦点会产生不匹配的情况。这样的不匹配会令用户感到不舒适,这也是现今 VR 产品的一大痛处。

2、当你在使用 AR 时,你会用真实的深度看向现实世界。而虚拟的图像则需要匹配到你的视觉焦点,否则它们就会变得模糊不清。比如驾驶过程中,正在注视 20 米远的你并不能看清距离你 1.5 米的 AR 地图指示。

英伟达的 VR 探索之路:图像渲染 (下)

我们创造了一个计算型光场显示器原型,通过多角度的光线展示,可以让你在任何深度进行聚焦。这个显示器是对以往技术的一次重要突破,因为计算过程是直接在显示器中进行的。我们不是向显示器中传输单纯的图像,我们正在向其中发送复杂的数据,而显示器则负责将数据直接转化为你眼前的图像。上图中那些看起来有点像昆虫眼中的世界的小网格,必须进行专门的渲染才能传输进显示器,这需要结合了自定义光学,即通过一个微透镜阵列,才能以正确的方式呈现出一个自然的世界。

第一个光场显示器的研发是从 2013 年开始的。而下周,在 ACM AIGGRAPH Asia 2018 大会上,我们将展示一种新的全息显示器,它利用激光和密集的计算在光的干扰波面上创造光场。本文篇幅有限,很难展示其复杂的工作机制,但它的基本原理是一样的,可以产出质量更高的图像。

我们坚信这种显示器内计算是未来的一种关键技术。但光场并不是我们使用计算方法解决焦点问题的唯一途径。我们还创造了其他两种可变焦点(或变焦光学)的形式。

下图的显示器原型利用激光将图像投射到一个漫射全息图上。当你直视全息图时,它会从一个曲面玻璃上反射过来,这样看上去就像是在远处注视它。

英伟达的 VR 探索之路:图像渲染 (下)

我们通过一个小马达来移动全息图或太阳镜反射器,从而控制图像的距离。这样我们就可以将虚拟物体的距离和用户现实世界的视距匹配起来,用户在使用 VR 时就可以自然而完美地聚焦。

这种方法要求在显示器中进行两种计算:一是要追踪用户的眼动状态,二是要计算正确的光学变化来渲染预扭曲的动态图像。和我们的大多数原型机一样,这个研究版本比最终产品的体积大得多。因为我们要用大型组件来进行研究构建。但实际使用的优化版显示器会更像是墨镜的样子。

下面是另一个变焦原型机,这是我们与北卡罗来纳大学、马克斯普朗克研究(the Max Planck Institute)所和萨尔兰大学(Saarland University)的研究者们合作发明的。这是一个灵活的透镜薄膜。我们根据用户焦点的变化,使用计算机控制的气动装置来改变透镜的焦距,使得图像始终处在正确的位置。

英伟达的 VR 探索之路:图像渲染 (下)

混合云渲染

我们有多种方法解决 VR 延迟的问题。其中一个是与威廉姆斯学院合作的成果,它充分利用了我们分布广泛的 GPU 技术。为了在渲染时减少延迟,我们希望将 GPU 移动离显示器越近越好。利用 Tegra 移动 GPU,我们甚至可以将 GPU 放置在用户身上。但是移动 GPU 的处理能力不如台式 GPU,而我们又想提升现有游戏 VR 的图像质量,所以我们用无线连接为 Tegra 组配一个独立的 GeForce GPU,甚至如果要求更高的话,可以配一个云端 Tesla GPU。

英伟达的 VR 探索之路:图像渲染 (下)

这样,一个功能强大的 GPU 就可以计算出光照信息,接着传输给你身上的 Tegra,渲染出最后的图像。这种方法的好处在于,既减少了延迟,又降低了算力要求,同时还提高了实际图像的质量。

降低延迟基准

当然,你无法让延迟低于帧速率。如果显示器的更新速度是 90 fps,那么延迟在最差的情况下也不会低于 11ms,因为这正好是显示器等待两帧之间的时长。所以我们到底能将显示器的速度提升到多快呢?

我们和北卡罗来纳大学的科学家合作构建一个每秒运行 1.6 万个二进制帧的显示器。下图是一个数字示波器的图表,显示了这种显示器对于头部转动时的情况。当你转头时,屏幕更新的延迟会导致晕动症。

英伟达的 VR 探索之路:图像渲染 (下)

在上图中,横坐标是时间线;顶部的绿线震动代表戴着显示器的用户正在转动头部;黄线表示显示器的更新,它的起伏代表显示器中新图像仅用 0.08ms 就能完成更新。这大约是现有市面上最差的消费级 VR 速度的 500 倍。

渲染器无法达到 16,000 fps 的速度,所以这种显示器需要借助时间扭曲(Time Warping)最新图形的方法来匹配当前头部的位置。我们让它直接在头显中运行,可以加速时间扭曲的处理过程。下图展示了我们定制头显中处理器原型:

英伟达的 VR 探索之路:图像渲染 (下)

不同于扭曲 2D 图像的常规时间扭曲,或是更先进的深度 2D 图像扭曲的空间扭曲(Space Warp),我们的方法可以应用于全 3D 数据集中。上图的最右边展示了在一个实际的 3D 场景进行扭曲的例子,在这个系统中,当你在场景中随意走动时,显示器可以自动保持更新,甚至暂时与渲染器断开连接时也能持续更新。这使得我们能够以一个较低的速度运行渲染器,从而节省电力或提高图像质量,同时,即使在无线连接缓慢的网络时,也能生成低延迟的图形。

总结

在第一部分,我们阐述了现今VR头显的渲染管线:

英伟达的 VR 探索之路:图像渲染 (下)

综合上述所有的技术,我们不仅可以描绘出单个的创新产品,更重要的是可以勾勒出一个 VR 系统的全新图景。这个图景几乎消除了所有的同步障碍,它将计算扩展到云端,并直接传到头戴式显示器上。延迟时间缩短了 50-100 倍,同时图像具有电影级的质量。分辨率提高了 100 倍,当然只是你视觉焦点内的图形像素。另外,你也可以自然地聚焦在不同深度上。

英伟达的 VR 探索之路:图像渲染 (下)

我们正在加速将二进制图像在显示屏上的显示,以期让用户体验虚实不分的感受。该系统有着适合的聚焦调节,一个宽阔的视场,轻便的重量和很低的延迟,可以成为一种舒适而时尚的日常产品。

通过在计算型显示器,变焦光学,焦点渲染,图形去噪,光场,二进制帧等领域的突破,NVIDIA Research 正在为一个新的虚拟体验系统进行创新。随着系统变得更加舒适,便宜,性价比提高,这将成为每个人都可以使用的新的计算界面。

我鼓励每个人都去体验如今市场上的现代 VR 系统。我更也鼓励你加入我们,共同期待未来 AR/VR/MR的普及,期待通过这些技术掀起的 VR 革命。

via roadtovr.com雷锋网编译


猜你喜欢

转载自blog.csdn.net/xiangz_csdn/article/details/78773959
VR