版权声明：Davidwang原创文章，严禁用于任何商业途径，授权后方可转载。
（一）、MR概念
??MR是Mixed Reality的缩写，即混合现实，是融合真实和虚拟世界的技术，混合现实概念由微软公司提出，强调物理实体和数字对象共存并实时相互作用，如虚实遮挡、环境反射等。比较而言，AR强调的是对真实世界的增强，MR则更强调虚实的融合，更关注虚拟数字世界与真实现实世界之间的交互，如环境遮挡、人形遮挡、场景深度、物理模拟，也更关注以自然、本能的方式操作虚拟对象，MR虚实融合效果如图1所示。
??在混合现实环境中，真实世界环境被计算机生成的文字、图像、视频、3D模型、动画等虚拟信息“增强”，甚至可以跨越视觉、听觉、触觉、体感和嗅觉等多种感官模式。叠加的虚拟信息可以是建设性的（即对现实环境的附加），也可以是破坏性的（即对现实环境的掩蔽），并与现实世界无缝的交织在一起，让人产生身临其境、真假难辨的感观体验，分不清虚实。通过这种方式，混合现实可以改变用户对真实世界环境的持续感知，这与虚拟现实将虚实隔离，用虚拟环境完全取代用户真实世界环境完全不一样。
??混合现实的主要价值在于它将数字信息带入到个人对现实世界的感知中，而不是简单的数据显示，通过与被视为环境自然部分的沉浸式集成来实现对现实的增强。借助HoloLens设备的优秀能力（例如本能手势操作、语音命令、眼动凝视交互），用户周围的混合世界变得可交互和可操作。简而言之，MR就是将虚拟信息放在现实中展现，并且让用户与虚拟信息进行互动，MR通过环境跟踪、理解等技术手段将现实与虚拟信息进行无缝对接，将在现实中不存在的事物构建在与真实环境一致的同一个三维场景中予以展现、衔接融合。
??混合现实技术的发展将改变我们观察世界的方式，世界将不再是我们看到表面现象集合，而可以有其更深刻和个性化的内涵，从而引发人类对世界认知方式的变革。想像用户行走或者驱车行驶在路上，通过增强现实显示器（AR眼镜或者全透明档风玻璃显示器），信息化图像将出现在用户的视野之内（如路标、导航、提示），这些增强信息实时更新，并且所播放的声音与用户所看到的场景保持同步；或者当我们看到一颗蘑菇时，通过AR眼镜即可马上获知其成分和毒性；或者当我们在任何时候需要帮助时，数字人工智能人形助理马上出现在我们面前，以与真人无差异的形象全程为我们服务。
??不仅如此，混合现实技术的发展符合更直接、直观、本能的人机交互趋势，必将创造全新的人机交互模式，以更加自然的方式连接虚实世界。
（二）、全息图
??本系列所述全息指由HoloLens设备生成的光影图像及3D音效综合体，泛指所有的虚拟元素、视频、对象、物体及其3D空间音效，这些全息场景可以是固定于现实世界空间的虚拟对象、也可以是跟随使用者的UX元素，全息叠加于现实世界之上，并与现实世界交互。全息图泛指所有叠加于真实环境之上的可见虚拟对象集合，全息图又称为全息影像。
由于HoloLens设备采用光波导显示技术，设备生成的全息图只能以叠加的方式覆盖于环境之上，即我们既能看到全息图也能看到其背后的真实环境，HoloLens设备无法将环境信息移除，而我们也无法生成纯黑颜色，所以全息图不能渲染黑色（黑色会渲染成全透明），越明亮的全息图像在HoloLens设备中显示越清晰。
??得益于HoloLens设备优秀的运动跟踪能力，全息图可以放置于使用者所在真实空间中的任何位置，这些放置于真实空间中的全息影像会像真实物体一样固定于环境中，即使使用者移动位置，它们也会保持在原地不变。当然，我们也可以通过设置使全息图一直保持在视野范围内或者跟随使用者，在MR应用中，保持全息图在视野范围内也被称为显示锁定（Display lock），在这种模式下，全息图就像普通应用中的UI元素一样一直占据一部分显示面积，通常这种形式的全息图会用于显示电量、时间之类的固定信息，但需要注意的是，这种显示方式与MR应用所营造的3D混合现实场景不相符，会让人产生不适，建议无特殊情况不要采用该方式；保持全息图跟随使用者也被称为身体锁定（Body lock），被身体锁定的全息图会跟随使用者，但其也同样处于MR应用的3D空间中，典型的例子就是MR开发中常见的性能诊断面板（Diagnostics panel），设计良好的延时和弹性缓动效果可以让该模式非常适合常用菜单、工具的显示。
??全息不仅仅是光影和声音的叠加，它也是混合现实的一部分，可以与真实环境、使用者交互，HoloLens设备具备环境感知能力，能重建物理场景表面，全息图能正确与现实环境发生碰撞、遮挡、反射、物理模拟，如将一个虚拟小球抛向地面，小球将在真实地板上弹跳，也会滚动到桌子下面而消失不见。在使用全息时，将其与重力（Y轴）对齐是最简单且有效提升全息真实感的方法。
（三）、HoloLens2设备
??HoloLens2设备从HoloLens1代发展而来，是一台可穿戴一体式全息计算设备，如图2所示，它具有当前业内最好的光波导显示组件，拥有独立的计算单元，可进行实时手势、语音、感知环境、运动跟踪、眼动跟踪等解算。HoloLens2设备是一台完整的全息混合现实设备，无需依赖任何外部软硬件就能完成所有混合现实计算和展示。HoloLens2设备也是一个混合现实平台，运行Windows 10全息操作系统（Windows 10 Holographic System），拥有所有UWP（Universal Windows Platform，通用Windows平台）特性支持。
??HoloLens2作为一款完备的混合现实设备，搭载了众多的传感器、计算单元，提供了优秀的沉浸式体验，其基本性技能参数如图3所示。
- 计算性能
??HoloLens2 设备配备高通骁龙 850（Snapdragon 850）计算平台，这是一个时钟频率 2.96G、64 位、 10 纳米的高性能低功耗处理平台，强大的计算性能保证了 MR 应用苛刻的时延要求，奠定了整个设备的计 算基础。
??HoloLens2 设备还配备有一块专用的 HPU（Holographic Processing Unit，全息处理单元），该处理 器共有 13 个计算单元，主要负责 6DoF 运动跟踪、眼动跟踪、手势跟踪、3D 音效、环境感知和空间映射、 场景理解、全息稳定性等计算处理。HPU 专用处理器的出现极大的减轻了 CPU 的计算压力，并提供了更 好的精度和功耗表现。
-
光波导显示
??HoloLens2 光波导显示模组视场角提升到 52 度，在提供了更大视野空间的同时保持了每度 47 像素的 分辨率，画质更锐利。HoloLens2 波导镜片由 3 层精减为 2 层，对环境光的通透性更好，提升了 MR 体验。 -
深度感知
??HoloLens2 设备配备了 TOF（Time of Flight，飞行时间）深度传感器，提供了直接获取场景深度信息 的能力，因此能够高效感知外部环境，并且配合 AI 算法提高了场景表面几何网格的完整性。 -
环境理解
第二代 HPU 内置了神经网络，在通过 TOF 获取到场景表面几何网格信息后，通过构建的深度地图与 运动跟踪智能的识别场景对象，如地板、天花板、桌面等，场景理解能力对提高 MR 应用的智能性有至 关重要的影响。 -
手势识别
??HoloLens2 设备有非常优秀的手势跟踪和识别能力，这主要得益于 HPU 神经网络。为降低功耗， HoloLens2 设备时刻保持一个粗粒度的神经网络运行，在检测到手势时会启动另一个高精度的神经网络跟 踪和识别手势，不仅降低了功耗也不损失精度。由于第二代 HPU 的强大能力，HoloLens2 设备完全摆脱了 一代设备只有两种手势的困局，允许使用者以更自然的方式进行虚实本能交互。 -
眼动跟踪
?? HoloLens2 设备有两个向内的红外图像传感器负责虹膜识别与眼动跟踪，这两个传感器不仅可以自动 测量双眼瞳间距，还能实时的跟踪双眼的凝视方向，这为远距离的凝视交互打下了基础，也提供了除手势 和语音之外第 3 种虚实交互方式。 -
麦克风与空间音效
?? HoloLens2 设备配备了 3 个前向环境音采集麦克风、2 个用户语音采集麦克风，通过这个 5 声道的麦 克风阵列，HoloLens2 设备能在 90 分贝的环境里正确识别用户语音。HoloLens2 设备还配备了空间音效微 音响系统，能正确输出空间 3D 音效。
参考文献
1、什么是全息图 什么是全息图
2、关于 HoloLens 2 关于 HoloLens 2