monado系列文章索引汇总：
openxr runtime Monado 源码解析 源码分析：源码编译 准备工作说明 hello_xr解读
openxr runtime Monado 源码解析 源码分析：整体介绍 模块架构 模块作用 进程 线程模型 整体流程
openxr runtime Monado 源码解析 源码分析：CreateInstance流程（设备系统和合成器系统）Compositor comp_main client compositor
openxr runtime Monado 源码解析 源码分析：Prober设备发现和管理 system device HMD target instance
openxr runtime Monado 源码解析 源码分析：InitializeSession client native multi_compositor client_compositor
openxr runtime Monado 源码解析 源码分析：CreateSwapchain 画布 HardwareBuffer共享纹理 渲染线程 xrEndeFrame comp_renderer
目录
App侧（client侧）渲染结果如何被Runtime合成的
说明
1 本文是系列文章的第一篇
2 源码阅读基于安卓平台
3 以Monado合成器系统（Compositor）为主线的源码分析
4 此篇介绍整个分析过程中用到的开源工程，每个工程的作用
5 重点分析hello_xr源码
用到的三个源码工程和功能概述
OpenXR-SDK-Source
- 包含hello_xr源码，双目立方体绘制
- OpenXR loader, validation layers的实现源码
- 代码库 https://github.com/KhronosGroup/OpenXR-SDK-Source
openxr-android-broker
- 安卓版本用于发现和管理多个Runtime
- 代码库 https://gitlab.freedesktop.org/monado/utilities/openxr-android-broker
monado
- 标准OpenXR Runtime实现，功能强大的Runtime开发调试集。
- 代码库 https://gitlab.freedesktop.org/monado/monado
三个代码库间的关系
OpenXR文档给出了Application Loader Runtime三者的关系，如下图：
原图参见：https://registry.khronos.org/OpenXR/specs/1.0/loader.html#Overview
上图是抽象的模块关系表达，对应到三个源码库的关系如下：
源码编译和运行效果
源码编译
每个工程都可以编译成独立的APK
源码编译较简单，不再赘述，如果有疑惑，可以留言，我抽空补上一篇文章。
推荐编译文章（未经作者授权）：https://www.jianshu.com/p/6653507de3c6
运行顺序和效果
依次打开：
（1）Monado XR（in-process下无界面）
（2）OpenXR Runtime Broker，界面如下
（3）Hello XR（OpenGL ES），也可以是Vulkan版本，后续基于GLES分析，效果如下：
hello_xr渲染部分源码分析
本文忽略loader模块，重点讨论渲染方面的内容。Vulkan太啰嗦，为了更容易搞明白怎么在App侧（Client端）渲染，以及与Monado互动过程，本节以OpenGL ES部分为分析对象。分为以下几个部分：hello_xr整体架构；OpenXrProgram模块；GraphicisPlugin_OpenGLES模块。
hello_xr重点：app（client绘制的内容，如何被runtime合成的）
hello_xr整体架构
整体架构如下：
main主进程：安卓NativeActivity主入口，用于加载OpenXR Runtime，创建平台相关对象（platformplugin_android），图形渲染库（graphicsplugin_opengles）。
platformplugin_android：从源码里可以看出，demo支持win32 xlib xcb等平台，本文研究安卓平台，该模块提供几个重要字段：
-
- XR_KHR_android_create_instance扩展
- FormFactor: 'Hmd'
- ViewConfiguration: 'Stereo'
- EnvironmentBlendMode: 'Opaque'
- AppSpace: 'Local'
graphicsplugin_opengles：根据运行平台不同，Runtime暴露给App侧的渲染模块可以是D3D，Vulkan，OpenGL，OpenGL ES。Vulkan相对繁琐，本文以OpenGL ES作为梳理对象，以此整理App侧（client侧）渲染，渲染结果与Runtime合成关系。
OpenXR Loader：标准加载器实现，将来扩展Runtime功能时可能用到，暂不研究。
OpenXR Runtime：这里特指Monado开源引擎，后续文章会介绍。
graphicsplugin_opengles模块
这个模块主要是完成3D应用场景的绘制，简单一点用API裸写3D渲染，成熟做法是接入主流游戏引擎，如Unity UE Cocos等。熟悉OpenGL ES的同学打开graphicsplugin_opengles.cpp文件，可以清晰地看到几个关键模块：
（1）利用三方库进行渲染环境创建ksGpuWindow_Create()
EGLDisplay display = eglGetDisplay(EGL_DEFAULT_DISPLAY)
eglInitialize(display, major, minor)
EGLConfig eglGetConfigs()
EGLContext eglCreateContext(d, c, NO_CONTEXT)
EGLSurface eglCreatePbufferSurface(d, c)
eglMakeCurrent(display, surface, context)
重点：PBuffer，创建的是离屏渲染，因为合成展示在Runtime里完成。
（2）GLES资源创建InitializeResources()
glGenFramebuffers # 创建FBO
glCreateProgram # 创建立方体绘制需要的shader
glGenBuffers # 创建立方体VBO和IBO（3）3D场景绘制RenderView(layerView, swapchainImage)
glBindFramebuffer()
glViewport()
glFrontFace(GL_CW)
uint32_t colorTexture = reinterpret_cast<const XrSwapchainImageOpenGLESKHR*>(swapchainImage)->image;
glFramebufferTexture2D(colorTexture| DEPTH)
glClearColor()
glClear()
glUseProgram(m_program)
矩阵计算：fov pose(position orientation) scale，来自runtime模块
glBindVertexArray(m_vao)
// Render each cube
glDrawElements()重点：可以看出App侧的Framebuffer的COLOR_ATTACHMENT0和DEPTH_ATTACHMENT来自Runtime的对象：SwapchainImage，也就是说客户端的画布是runtime创建，并通过纹理共享的，后续文章会详细介绍。
App侧（client侧）渲染结果如何被Runtime合成的
这块实现比较复杂，涉及到Runtime的合成器系统（compositor），可以先理解几个核心步骤，细节会在后续博文解读：
（1）Runtime的主合成器（comp_compositor）创建Vulkan渲染环境
（2）Runtime负责衔接Client端合成器（comp_multi_compositor）创建一个共享VK内存
（3）多客户端合成器系统（multi_system_compositor）根据客户端的渲染环境，如GLES GL VK等，用步骤（2）创建的共享VK内存，创建新的纹理对象，如EGLImage，再创建glTexture，然后通过SwapchainImage接口返回给App层使用。
这里一个技术要点是：基于HardwareBuffer的多线程纹理共享技术，具体参加附录。
附录
基于 HardwareBuffer 实现 Android 多进程渲染
https://robot9.me/hardwarebuffer-multi-process-rendering/
关键词 OpenXR Runtime Monado Compositor Vulkan OpenGL ES Swapchain hello_xr VR AR