【AR开发】VIVE Sense - SRWorks SDK

1、简介

随着 VIVE Pro、VIVE Pro Eye 和 Cosmos 的推出,开发人员现在可以使用立体前置摄像头来创造新的体验,将透视立体摄像头视图与其虚拟世界相结合。这将使开发人员能够使用立体 RGB 传感器执行 3D 感知和深度感应,为更具创意的交互式体验开辟新世界。

除了更新的 OpenVR 摄像头 API 现在可以处理比原始 VIVE 的单色摄像头更多的功能之外,VIVE 软件团队还为开发人员提供了对 SRWorks SDK 的早期访问权限。

SDK 包括对带有 Unity 和 Unreal 插件的原生开发的支持。
还包括一个示例伴侣:在后台运行的人类检测伴侣作为叠加层。

该VIVE SRWorks SDK扩展能力和VIVE VR系统的潜在用途直通技术。借助这个强大的工具,内容开发者可以将现实世界带入 VR。大多数情况下,佩戴耳机时现实世界的视野会被遮挡。通过使用VIVE HMD的双摄像头,耳机可以在立体视觉中接收来自现实世界的输入。大多数情况下,佩戴耳机时现实世界的视野会被遮挡。通过使用双摄像头,VIVE HMD 可以在立体视觉中接收来自现实世界的输入。

2、功能模块

使用此 SDK,您不仅可以访问原始相机图像:

  • 深度
  • 空间映射(静态和动态网格)
  • 在前景或背景中放置虚拟对象
  • 与虚拟对象的实时交互和简单的手部交互
  • 用于语义分割的 AI Vision 模块。

这些功能由四个服务模块提供,即深度模块、透视模块、3D 重建模块和 AI 视觉模块,从而使开发人员能够专注于内容。
在这里插入图片描述
双摄像头的图像通过以下 VIVE SRWorks 模块进行处理,然后输出可以通过Unity或Unreal渲染并交付给渲染引擎:
在这里插入图片描述

3、运行要求

要通过 VIVE SRWorks SDK 在 Unity/Unreal 中开发应用程序,应满足以下最低软件和硬件要求:
在这里插入图片描述

4、驱动安装

4.1 steam安装

https://store.steampowered.com/about//
在这里插入图片描述

4.2 steamvr安装

打开steam平台,然后登录,搜索如下,查找steamvr,下载它,在线安装。
在这里插入图片描述

在这里插入图片描述
在steamvr的设置里将“启动摄像头”设置打开,这样才能进行后面的AR功能测试。在这里插入图片描述
在这里插入图片描述

4.3 SRWorks Runtime

https://dl.vive.com/SDK/SRWorks/VIVE_SRWorksInstaller_0.9.7.1.msi
在这里插入图片描述

5、SDK开发包下载

官网地址:
https://developer.vive.com/resources/vive-sense/sdk/vive-srworks-sdk/
在这里插入图片描述
双摄像头具有两大优势:

3D感知 由于左右眼分别使用独立的摄像头,因此在观看现实世界时可以进行 3D 感知。
深度感应 一个基本的应用是真实的遮挡。您还可以利用此深度信息来实现其他更高级的场景,例如身体、手和面部跟踪。

sdk开发包下载地址:
https://developer.vive.com/resources/vive-sense/srworks-sdk/download/latest/
在这里插入图片描述
在这里插入图片描述

6、SDK开发包测试

6.1 Unity sample

解压文件:SRWorks_v0.9.7.1_Unity_Prebuild_Samples.zip

在这里插入图片描述在这里插入图片描述
在这里插入图片描述
unity的测试例子解压之后有两个例子:Plugin、Experience。

  • Plugin例子
    在这里插入图片描述
    Launch the GUI by pressing the “S” + “R” keys.
    在这里插入图片描述
    主要分为四个界面分页的内容:
    (1)PassThrough
    (2)Depth
    (3)3d
    (4)SceneUnderstanding

但这里我们主要介绍Experience例子。

  • Experience例子
    -
    在这里插入图片描述

6.1.1 Shader Effect

在这里插入图片描述
在这里插入图片描述

6.1.2 Depth Control

在这里插入图片描述

6.1.3 CameraControl

在这里插入图片描述

6.1.4 Portal

在这里插入图片描述

6.1.5 Settings

在这里插入图片描述

6.1.6 3D Preview

在这里插入图片描述

6.1.7 Enable Mesh

在这里插入图片描述
Static(MR)
在这里插入图片描述
Static(VR)
在这里插入图片描述
Dynamic(MR)
在这里插入图片描述

6.1.8 Segmentation

在这里插入图片描述
出现一个骨架人走到被识别的椅子旁,然后坐下。

6.2 UE4 sample

解压文件:SRWorks_v0.9.7.1_UE4_Samples.zip
在这里插入图片描述

6.3 C sample

解压文件:SRWorks_v0.9.7.1_Native_C_Library.zip
在这里插入图片描述
在这里插入图片描述
打开代码工程文件,编译其中的sample-vs2015,运行之后,报错,目前还没有解决。
在这里插入图片描述

后续

如果你觉得该方法或代码有一点点用处,可以给作者点个赞;╮( ̄▽ ̄)╭
如果你感觉方法或代码不咋地//(ㄒoㄒ)//,就在评论处留言,作者继续改进。o_O???
谢谢各位童鞋们啦( ´ ▽ )ノ ( ´ ▽ )っ!!!

猜你喜欢

转载自blog.csdn.net/hhy321/article/details/120775037
今日推荐