SRWorks SDK 测试
1、简介
随着 VIVE Pro、VIVE Pro Eye 和 Cosmos 的推出,开发人员现在可以使用立体前置摄像头来创造新的体验,将透视立体摄像头视图与其虚拟世界相结合。这将使开发人员能够使用立体 RGB 传感器执行 3D 感知和深度感应,为更具创意的交互式体验开辟新世界。
除了更新的 OpenVR 摄像头 API 现在可以处理比原始 VIVE 的单色摄像头更多的功能之外,VIVE 软件团队还为开发人员提供了对 SRWorks SDK 的早期访问权限。
SDK 包括对带有 Unity 和 Unreal 插件的原生开发的支持。
还包括一个示例伴侣:在后台运行的人类检测伴侣作为叠加层。
该VIVE SRWorks SDK扩展能力和VIVE VR系统的潜在用途直通技术。借助这个强大的工具,内容开发者可以将现实世界带入 VR。大多数情况下,佩戴耳机时现实世界的视野会被遮挡。通过使用VIVE HMD的双摄像头,耳机可以在立体视觉中接收来自现实世界的输入。大多数情况下,佩戴耳机时现实世界的视野会被遮挡。通过使用双摄像头,VIVE HMD 可以在立体视觉中接收来自现实世界的输入。
2、功能模块
使用此 SDK,您不仅可以访问原始相机图像:
- 深度
- 空间映射(静态和动态网格)
- 在前景或背景中放置虚拟对象
- 与虚拟对象的实时交互和简单的手部交互
- 用于语义分割的 AI Vision 模块。
这些功能由四个服务模块提供,即深度模块、透视模块、3D 重建模块和 AI 视觉模块,从而使开发人员能够专注于内容。
双摄像头的图像通过以下 VIVE SRWorks 模块进行处理,然后输出可以通过Unity或Unreal渲染并交付给渲染引擎:
3、运行要求
要通过 VIVE SRWorks SDK 在 Unity/Unreal 中开发应用程序,应满足以下最低软件和硬件要求:
4、驱动安装
4.1 steam安装
https://store.steampowered.com/about//
4.2 steamvr安装
打开steam平台,然后登录,搜索如下,查找steamvr,下载它,在线安装。
在steamvr的设置里将“启动摄像头”设置打开,这样才能进行后面的AR功能测试。
4.3 SRWorks Runtime
https://dl.vive.com/SDK/SRWorks/VIVE_SRWorksInstaller_0.9.7.1.msi
5、SDK开发包下载
官网地址:
https://developer.vive.com/resources/vive-sense/sdk/vive-srworks-sdk/
双摄像头具有两大优势:
3D感知 | 由于左右眼分别使用独立的摄像头,因此在观看现实世界时可以进行 3D 感知。 |
---|---|
深度感应 | 一个基本的应用是真实的遮挡。您还可以利用此深度信息来实现其他更高级的场景,例如身体、手和面部跟踪。 |
sdk开发包下载地址:
https://developer.vive.com/resources/vive-sense/srworks-sdk/download/latest/
6、SDK开发包测试
6.1 Unity sample
解压文件:SRWorks_v0.9.7.1_Unity_Prebuild_Samples.zip
unity的测试例子解压之后有两个例子:Plugin、Experience。
- Plugin例子
Launch the GUI by pressing the “S” + “R” keys.
主要分为四个界面分页的内容:
(1)PassThrough
(2)Depth
(3)3d
(4)SceneUnderstanding
但这里我们主要介绍Experience例子。
- Experience例子
6.1.1 Shader Effect
6.1.2 Depth Control
6.1.3 CameraControl
6.1.4 Portal
6.1.5 Settings
6.1.6 3D Preview
6.1.7 Enable Mesh
Static(MR)
Static(VR)
Dynamic(MR)
6.1.8 Segmentation
出现一个骨架人走到被识别的椅子旁,然后坐下。
6.2 UE4 sample
解压文件:SRWorks_v0.9.7.1_UE4_Samples.zip
6.3 C sample
解压文件:SRWorks_v0.9.7.1_Native_C_Library.zip
打开代码工程文件,编译其中的sample-vs2015,运行之后,报错,目前还没有解决。
后续
如果你觉得该方法或代码有一点点用处,可以给作者点个赞;╮( ̄▽ ̄)╭
如果你感觉方法或代码不咋地//(ㄒoㄒ)//,就在评论处留言,作者继续改进。o_O???
谢谢各位童鞋们啦( ´ ▽ )ノ ( ´ ▽
)っ!!!