开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 论文阅读（4）What How and Why are Visual Assets used in Industrial Augmented Reality? -> 正文阅读

[人工智能]论文阅读（4）What How and Why are Visual Assets used in Industrial Augmented Reality?

在工业界增强现实中使用什么、如何使用以及为什么使用视觉资源（Visual Assets）？对于维修、装配和培训的系统综述和分类(1997年至2019年)

论文原文：https://www.researchgate.net/publication/343489698_What_How_and_Why_are_Visual_Assets_used_in_Industrial_Augmented_Reality_A_Systematic_Review_and_Classification_in_Maintenance_Assembly_and_Training_from_1997_to_2019
?

Abstract

??工业增强现实(iAR)已经在维修、装配和培训等领域证明了它在技术信息交流上的优势。然而，文献中包罗了不同的视觉资源(即，与真实场景相关联的AR用户的界面元素)。在这项研究中，我们提出了在这些工业领域使用的视觉资源的系统文献综述。我们搜索了五个数据库，最初找到了1757篇文献。然后，我们选取了1997年至2019年的122篇iAR文献，提取了348项视觉资源。我们根据(I)显示的内容，(ii)它如何传达信息(参考框架、彩色编码、动画)以及(iii)为什么使用它来对视觉资源进行分类。我们的综述表明，最常见的模型依次是产品模型、文本和辅助模型，每种模型分别最常用于协助操作、检查和定位任务。而其他视觉资源很少使用。产品和辅助模型通常是固定世界坐标（world-fixed）渲染的，彩色编码并不像预期的那样经常使用，而动画仅限于产品和辅助模型。这项调查提供了20多年iAR文献的缩影，有助于理解iAR界面设计的既定实践，并确立未来的研究方向。

?
在这里插入图片描述

图1。在iAR界面中传达相同指令的三种不同的视觉资源:套筒扳手的动画产品模型(a)、箭头的静态辅助模型(b)、文本指令?。

1 Introduction

??维修、装配和培训必须严格遵循技术文件和程序，以保证机器和系统安全可靠。向工人展示技术文件的形式在过去几年中不断演变，从早期的纸质文件开始，以黑白文本和2D插图为特征。在过去几十年中，通过使用例如计算机图形，数字文档提供了传达信息(例如，通过颜色和动画)以及与内容交互的新方式(例如，旋转3D部分以改变观看视角)。数字内容的例子包括计算机辅助设计模型和多媒体，如基于图像或基于视频的教程。

??增强现实旨在传达直接记录在物理环境中的信息。特别是在工业领域，增强现实渴望连接真实和虚拟设备来指导复杂的维修和装配程序。根据关注点分离原则[1]，增强场景由三个主要组件组成:(1)现实世界对象(特征)，(2)它在增强场景中的投影位置(锚点)，以及(3)与现实世界对象相关联的虚拟模型(视觉资源，图1)。工业增强现实(iAR)特别适合于技术通信，因为它能够支持锚定在真实对象上的信息和指令的空间配准（spatial registration）。因此，iAR引入了真实世界中没有的额外信息，因此与基于程序的方法相比，能够减少工人的认知负荷[2]，[3]，[4]。iAR已被证明在工业环境中的人员培训方面是成功的[5]。在过去的几十年里，工业领域中潜在增强现实的数量不断增加。尽管有了这种增长，但正如Lorenz等人所言，由于iAR应用程序必须满足许多复杂要求，增强现实在实际工业环境中仍未得到广泛应用。这些要求来自许多方面:用户、技术、环境、调节或经济成本。
?
??然后，为了在工业中有效地使用增强现实，iAR实现必须是可靠的、安全的、有帮助的、被操作者接受的，并且必须适应严格的规则。然而，正如Rolim等人[7]所述，文献中没有关于通过增强现实向用户呈现信息和提供说明的最佳方式的一致意见。提供这样的设计指南是具有挑战性的，因为增强现实必然要处理开放的真实环境，并且每个场景都可能引入新的约束。现有的标准，如Augmented Reality Markup Language (ARML) [1]和 Keyhole Augmented Reality Markup Language (KARML)[8]，虽然是通用的，但也只能是用作未来实现的起点(例如，指定术语)。IEEE标准协会正在开发一系列虚拟和增强现实标准，解决安全、如何定义不同的技术以及虚拟和现实对象应如何合作等方面的问题。

??因此，文献分布在iAR界面的几个提议中。我们根据具体的研究发现了使用不同视觉资源的作品[5]，[9]，[10]。除此之外，对于文献中描述的许多iAR应用程序，界面的细节或描述有限，选择可视化方法的动机也有限。我们还发现了提供设计建议的文献[11]，甚至是工业增强现实界面[12]。然而，这些建议需要与界面的具体见解相结合，同时考虑到不同的设备。事实上，由于增强现实设备的性质，iAR界面的设计可能会更加复杂。例如，与通过手持iAR设备呈现的相同视觉资源相比，通过头戴式显示器观看时，封闭环境下的视觉资源可能会限制情况感知和操作员的安全[13]。

??在这之后，为了给下一代iAR技术文档的作者提供初步指南，我们调查了文献中的技术说明。据我们所得，关于可用于维修、装配和培训的增强现实用户界面的视觉资源的系统研究的文献十分缺乏。因此，在这项工作中，我们希望解决以下研究问题:“什么是最常用的视觉资源，它们如何在iAR界面中用于维修、装配和人员培训任务？”

??在本文中，我们介绍了我们的系统文献综述(SLR)的结果，该综述是关于工业增强现实原型中可视化方法的技术指导以及过去十年中提出的维修、装配和培训程序的概念(斜体是搜索阶段使用的关键词)。基于这一综述，我们进一步提出了技术可视化方法的分类，考虑到它们在iAR界面中创作的不同方面，并定义如下:

视觉资源展示的内容；
视觉资源如何传达信息；
以及，为什么使用某种视觉资源。

??这种分类可以促进社区讨论，并最终走向标准化。

??本文分为六个部分。第2节报告了与增强现实审查的相关研究。在第3节中，我们描述了系统文献综述（SLR）使用的方法。在第4节中，我们详细介绍了分类方法。第5节报告了主要结果，然后是讨论和结论。

2 Closely Related Work

??Azuma的研究[14]、[15]是关于增强现实的后续研究的一个可靠的起点。他们研究了医疗、制造、可视化、路径规划、娱乐和军事方面的现有的增强现实的应用。有趣的是，大多数被评估的应用程序都使用了3D模型。Van Krevelen和Poelman[16]、Carmigniani等人[17]、Billinghurst等人[18]对AR技术、应用和局限性进行了更近期的研究。此外，2008年Zhou等人[19回顾了ISMAR十年的发展;十年后，Kim 等人[20]对2008年至2017年的ISMAR趋势进行了更新。

??这些研究对增强现实的不同应用领域，以及设备、跟踪技术和局限性进行了有趣的调查。我们还发现有针对性的综述，涉及AR特定的话题或AR的工业应用如下所述。

2.1关于增强现实特定话题的综述

??我们选择了那些涉及界面设计的文献，例如关于非传统可视化设备的使用和用户的感知问题的研究。

??Kruijff等人[21]确定了在一系列增强现实平台上影响正确感知的主要感知问题:头戴显示器(HWDs)、手持设备和投影-摄像系统。Rolland等人，[22]回顾了透明HWD的光学结构，以及成功实现透明HWD所需的关键因素和功能。这篇综述独立于特定的应用领域。

??文献中的另一个研究领域是基于用户的实验。正如Swan和Gabbard[23]所争论的，有必要从以用户为中心的角度进一步开发AR界面和系统。他们调查并分类了AR中基于用户的研究，发现工作正沿着三条互补的努力线进行:研究低级任务的，研究特定AR应用程序或应用程序域内的用户任务性能的，以及研究协作用户之间的用户交互和通信的。Dey等人，[24]展示了基于用户的增强现实研究的广阔前景，提供了这种前景如何变化的高层视角。他们确定了AR用户研究的主要应用领域，描述了常用的方法和环境，并提出了使AR更加用户友好的未来研究机会。
?

2.2 AR在工业上的应用综述

??Ong等人，[25]提供了iAR研究和开发的第一个包含的综述之一，包括一些限制AR在制造领域成功应用的相关问题。他们总结了一个成功的iAR应用程序在硬件和软件系统方面理想情况下应该具备的需求，例如一个可以方便地用于与增强制造环境交互的高效和合适的用户界面。

??Nee等人[26]介绍了iAR在制造领域的一些应用。这项工作强调了AR应用程序设计阶段的重要性，例如开发高度交互和用户友好的界面，并提供有价值的洞察力，以便使AR成为制造和工程领域的一个有趣的工具。

??Syberfeldt等人，[27]专注于工业领域，旨在让制造业更接近AR智能眼镜的广泛采用。他们提出了一个逐步评估AR智能眼镜的过程，包括具体的指导方针，考虑哪些参数及其推荐的最小值。他们提出了一个评估过程，让制造公司能够快速做出最优决策，决定在他们的车间里实施什么产品。

??Rankohi和Waugh[28]介绍了AR技术在建筑、工程和建筑(AEC)行业的统计回顾。他们综合了建筑项目中增强现实技术的当前最先进水平和趋势，并确定了可能显著影响AEC的关键应用领域。有趣的是，回顾的大多数文章都讨论了非沉浸式用户体验，即基于桌面的AR，而不是沉浸式体验。正如在其他评论中看到的，他们的工作揭示了文献中发现的大多数AR系统都是原型、一次性的和演示。

??Dini和Dalle Mura[29]提供了一个全面的调查，回顾了贯穿生命工程服务(TES)的一些最近的应用，强调了潜在的优势、限制和缺点，以及可能代表未来新挑战的未决问题。发现的主要开放问题是AR硬件的可用性和可移植性、设备的小视野、叠加图像的视觉质量、系统延迟，以及这些系统的准备、准备、编程和设置方面的困难。

??Fraga-Lamas等人，[30]描述了iAR的基础，然后对工业和造船应用的最新iAR系统进行了彻底的分析。本文描述了不同船厂iAR的使用案例，并对iAR的主要硬件和软件解决方案进行了全面回顾。经过这样的回顾，可以得出结论，开发iAR接口软件有许多选择，但iAR硬件，虽然它在过去几年中取得了很大的进展，它仍然没有准备好广泛部署。

??Palmarini等人，[31]进行了一项系统性文献综述，以评估AR在维护方面的现状和最相关的技术限制。从他们的研究中可以清楚地看到，硬件、软件和AR解决方案之间的高度碎片化导致了选择和开发AR系统的高度复杂性。具体来说，他们的综述表明:

硬件:使用hwd(27%)、手持显示器(27%)和桌面PC(30%)的比例相似，而投影(5%)较少使用;
可视化:最常见的方法是基于动态的2D/3D内容(40%)，包括2D和3D动画，相对于其他方法，对技术人员的指导更加生动;其次是静态2D/3D内容(26%)和文本内容(26%);
创作解决方案:很大一部分AR应用程序是手工生成的(64%)。

??Bottani和Vignali[32]在最近的一项调查中，对2006年至2017年的iAR文献进行了分类，并确定了iAR部署的主要制造领域。作者指出，许多技术研究只在实验室环境中进行，而没有在真实场景中实现增强现实系统。结果表明，hhd和hwd是iAR中应用最广泛的显示设备。最后，调查最重要的见解之一是，结果证实了AR在许多工业操作中显示出巨大的应用潜力，特别是在维修和装配领域。
?

3 Method

??本文采用系统的文献综述流程[33]，从文献中综合而成;借鉴其他增强现实综述的流程，如[24]，[31]。我们的系统审查过程分为两个阶段:文献选择和文献分析。
?

3.1 Paper selection

文献选择过程包括5个步骤:

规划搜索;
界定研究问题；
定义关键字和搜索条件；
搜索文献；
定义排除标准并应用；

??在检索计划中，我们使用了5个书目数据库:Scopus (www.scopus.com)、IEEE Explore数字图书馆(www.ieeexplore.ieee.org)、ACM数字图书馆(www.dl.acm.org)、Science Direct (www.sciencedirect.com)和Web of Science (www.webofknowledge.com)。这次搜索是在2020年4月进行的。为了回答我们研究的问题，我们确定了三组关键词。第一组是技术。我们同时使用了“增强现实”和“混合现实”，因为我们发现许多作者使用这个更通用的术语来指代增强现实原型(例如[34]，[35])。第二组关键字旨在将搜索限制在仅为工业领域中的维修、装配和人员培训的工业活动。我们之所以选择这些关键词，是因为Dey等人在最近的综述中[24]中写道，“行业”类别的大部分工作都集中在维修和装配任务上。此外，Werrlich等人发现，增强现实在装配和维修行为的工业培训中的使用正在增加。[36]随后我们还增加了“人员培训”。我们不只是用“培训”这个关键字来避免在教育领域的文献。第三组关键字旨在将研究限制在提出原型(概念)或框架(其中讨论了可视化方法来显示指令)的文献。因此，使用的搜索词是:
??(“augmented reality” OR “mixed reality”) AND (“maintenance” OR “assembly” OR “personnel training”) AND (“prototype" OR “concept” OR “framework” OR “visualization” OR “instruction”).

??在Scopus、ACM和Science Direct数据库的标题、摘要和关键字字段中进行搜索，在IEEE Explore的所有元数据中进行搜索，在Web of Science的主题中进行搜索。第一次搜索仅使用上述关键字，我们总共收集了1757篇文献(见表1)。其中一半来自Scopus数据库。为了优化搜索，我们决定在可能的情况下，只包括具有以下额外筛选标准的科学文章:

语言为英语的文献，
发表在期刊或会议上，
应用于工程或计算机科学领域，
发表于1997年至2019年。

??我们从1997年开始搜索，当时Azuma发表了一篇关于增强现实[14]的调查报告，也提供了一个清晰的定义。我们排除了2020年发表的文献，也就是进行搜索的那一年。经过提炼，剩余文献数为1476篇。由于这一阶段是分别对每个数据库执行的，因此这个数量的文档包括重复的文档。去掉所有重复的，文献的数量减少到949篇。
?
在这里插入图片描述
表1。搜索阶段的结果

??我们使用引用数来考虑文献的科学影响的相关性。我们检索每篇文献在数据库中报告的总被引次数，并计算平均被引次数(ACC)，见[19]:
$A C C = t o t a l l i f e t i m e c i t a t i o n s / l i f e t i m e (y e a r s) (1)$

??我们希望只考虑那些(基于ACC)高于最小影响的文献，所以我们丢弃了ACC小于1.5的文献，从而减少到296篇文献。

??值得注意的是，到目前为止，没有人读过任何文献的标题和摘要。因此，我们接下来将注意力转移到其余296篇文献的内容上，定义了两套排除标准:EC1和EC2。对296篇文献中的每一篇，阅读标题和摘要，以应用第一套排除标准(EC1):

本文不谈AR或应用于工业领域的AR。
本文的重点是工业增强现实，但所描述的原型并没有用于维修、装配或训练任务。

应用EC1后的筛选出171篇文献。在此之后，为了应用第二套排除标准(EC2)，有必要完整地阅读文献:

文中既没有描述界面，也没有描述原型。
文档中没有提供描述界面的有用信息。
同样的界面在其他文章中也有描述。

经过排除后，我们最终正式审阅了122篇文献。

3.2 Paper Analysis

??在分析阶段，122篇文献随机分配给笔者，以便进行独立和平行的审查。此外，经过头脑风暴，我们就每一篇文章要收集的数据达成了一致意见。笔者之间的这种会议和头脑风暴的迭代过程导致了第4节中所描述的提出的分类。在每一篇文章中，我们通过将AR用户界面分解为不同的元素(见图2)来分析AR用户界面。我们将ui设计师用来传达指令的所有信息片段都视为增强元素。因此，我们不仅包括通过注释提供的信息(即，以某种方式描述并注册到现有对象的虚拟信息，如Wither等人[38]所定义的)，还包括通过附加到ui中特定位置的元素提供的信息。
在这里插入图片描述
图2。根据我们提出的分类，对界面进行示例分析(摘自[37])。我们添加了黄色方框、虚线和实心圆来说明我们提出的分类的应用。

??然后，这些元素被添加到笔者为系统收集数据而创建的分类表中。当分析一篇论文中描述的界面时，我们就在网上寻找显示界面特征的视频。当这些视频不可用时，我们从论文中寻求进一步的见解。首先，我们搜索了这些数字及其标题。如果数字中提供的信息不完整，我们会查阅文件正文。在某些情况下，关于界面的信息只出现在文章的正文中。

??在我们阅读论文的过程中，我们还记录了使用的增强现实显示设备的类型，区分了头盔显示器、手持显示器、桌面显示器和空间增强现实显示器（SAR）。

??在进行论文分析的过程中，我们定期开会讨论不太清楚的论文和用户界面，以求达成一致。从图3可以看出，观察期最后十年的综述论文数量高于观察期剩余时间，峰值出现在2018年。1997年、2000年、2002年、2004年、2006年和2010年没有符合我们标准的论文。在过去的五年里，在2014年11篇论文的高峰之后，维修领域的论文相对于装配领域的论文来说比例有所下降。事实上，在过去的五年里，装配领域的论文有了很大的增长(37篇论文，而其余时间为19篇)。培训领域的论文都是最近十年发表的。总的来说，我们发现大部分论文是在装配领域(56篇，或46%)，而维修论文包含最高平均数量的视觉资源(3.37)，如表2所示，其中报告了所有122篇论文的汇总统计数据。
在这里插入图片描述
图3。在所分析的论文中描述的原型中使用增强现实设备的趋势。

*表2 122篇综述的总结
HWD =头戴式显示器，HHD =手持式显示器，MON =桌面显示器，SAR =空间增强现实

??维修领域的论文的作者平均人数较高，发表在期刊上的论文多于发表在会议的论文，这与关于装配和人员培训的论文相反(表2)。

??在我们检查的工作中，有更高比例的维修原型在真实环境中测试，而大多数装配原型在实验室中测试。对于人员培训，每个真实环境和实验室环境的人数几乎相同(表2)。一种解释可能是，维修需要一个真实的场景，而装配场景更容易在实验室中复制(有时使用实际装配的简化形式)。事实上，我们找到了几篇使用家具或乐高装配应用来描述他们的研究原型的论文。

??我们的综述表明，手持显示器是最常用的维修设备；装配和培训中最常见的是HWDs(见表2)。从图4中可以看出，手持显示器在过去十年中使用最多，并且呈稳定趋势。由于近年来商用智能手机和平板电脑的出现，这是可以预期的。在观测的最初几年也使用了hwd，但在最后几年有了强劲的增长，峰值出现在2018年。这主要是因为有了新的更符合人体工程学的HWDs，如Microsoft HoloLens 和 Meta 2。因此，台式显示器的使用在最近几年有所减少。空间增强现实显示器仅在过去十年中以稳定的趋势使用。
在这里插入图片描述
图4。在我们的综述中展示iAR原型每年的论文数量。在分析的122篇论文中，有103篇是在过去十年(2010-2019年)中发表的，也是在“人员培训”这一主题更受关注的时候。
?

4 Visual Assets Classification

??基于对文献的初步分析，我们提出了iAR用户界面视觉资源的分类(图5)。为了创建分类，我们遵循[39]中推荐的过程，首先创建一个包含互斥和联合的使用穷举法得到的类和扩展的分类。然后，我们应用了一个后续的分类阶段，在这个阶段中，视觉资源被分配到类中。具体来说，我们首先分析了文献中使用了哪些视觉资源，即常用哪些视觉资源。我们按照增强现实场景的创作管线进行了分类。我们可以将其分为两个主要阶段:I)创作单个视觉资源，这根据类型而变化:在CAD软件中的3D建模、照片获取等等；ii)增强现实场景的创建，通常使用开发平台(例如，Unity 3D 或 Unreal)完成，其中视觉资源与真实场景相结合，并且可以向其添加附加属性。
在这里插入图片描述
图5。我们提出的iAR用户界面中常用的视觉资源分类，如2006-2015年的发表的文献所示。

??然后，我们进行了第一次分类，将在创作阶段需要不同方法的视觉资源放入不同的容器中(“使用什么视觉资源”)。例如，这就是我们区分照片和视频的原因:即使两者都是使用相机创建的，照片也是在界面中使用的，而视频通常需要后处理，然后创作更困难。

??然后，我们分析了在增强现实场景创建期间可以添加的视觉资源的属性，这些属性可以给出附加信息(“如何使用视觉资源展现信息”)，如增强现实场景中的位置、特定颜色、动画。视觉的这些属性，即视觉资源是如何呈现的，代表了我们分类的第二个层次。

??最后，我们想研究iAR界面中使用的视觉资源类型和所传达的信息之间的关系，即为什么视觉资源用于iAR界面。

??为了强制执行互斥的类分配，我们计算了相同类型的视觉资源(如果它们有不同的属性(how)或用于不同的范围(why)，会怎么样)。由于这个原因，在给定的论文中，我们可以有不止一个文本、辅助模型等等。然而，如果一种具有相同属性和范围的视觉资源在一篇论文中被使用了不止一次(例如，为了分解和重新装配一个产品)，我们只计算了一次。如果一个指令由一个以上的视觉资源组成，我们分别分析这两个视觉资源。在下面的章节中，我们描述了包含在提出的视觉资源分类中的各类。

4.1 Class: What (is the visual asset)?

4.1.1 Text

??文本是传达口头信息的传统方式。创作文本非常简单，因为它只需要定义文本内容。我们在这个类别中包括2D文本和3D文本，以及显示在边界框内和不显示的文本。

??使用文本作为视觉资源的分析论文的例子有[40]和[41]。
?

4.1.2 Photograph

??在这个类别中，我们考虑的资源，其内容是通过照相机获取的真实世界的照片生成的。照片的使用在手册中非常普遍，尤其是数字手册和教学网站，如iFixit.com[42]。

??使用照片作为视觉资源的分析论文的例子有[5]和[43]。
?

4.1.2 Text

??使用文本作为视觉资源的分析论文的例子有[40]和[41]。
?

4.1.3 Video

??文在这一类中，我们考虑通过摄像机或网络摄像头获取的真实世界的视频记录生成内容的资源。

??使用视频作为视觉资源的分析论文的例子有[4]和[44]。

4.1.4 Sign

??我们应用了Peirce [45]的定义:“标识是一种用来传递其他事物知识的事物，或者说它支撑或代表其他事物。”标识可以有三种类型:图标、索引和符号。

??标识的管理标准可以是国际标准，如ISO 3864[46]安全标识，也可以是内部规范。标识所包含的信息非常集中，这是标识与照片区别的一个关键特征。

??使用表示作为视觉资源的分析论文的例子有[47]和[48]。
?

4.1.5 Auxiliary Model

??我们使用Wang等人[49]提供的定义:“辅助模型是用于辅助指令的虚拟模型”。然后，在提出的分类中，辅助模型是2D和3D注释，技术作者使用它们向操作员传递提示(例如，引导操作员的视觉注意到一个细节)。一些例子包括箭头、圆圈和抽象草图。我们没有区分2D和3D元素，因为同样的信息可以通过2D和3D版本的辅助模型来传达。

??使用辅助模型作为视觉资源的分析论文的例子有[50]和[51]。
?

4.1.6 Drawings

??对于技术图纸来说，由于图纸必须按照国际标准(ISO 128-1:2003[53])来传达产品的结构和功能信息，制作难度较大。根据ASME Y14.41 - 2003[54]，在这一类别中，我们包括以技术图纸的形式在画布上以静态图像显示的2D表示，但也包括3D图形注释。

??使用绘图作为视觉资源的分析论文的例子有[10]和[52]。
?

4.1.7 Technical Drawing

??使用技术图纸作为视觉资源的分析论文的例子有[55]和[56]。
?

4.1.8 Product Model

??我们再次使用Wang等人[49]提供的定义:“产品模型是产品和零部件的三维虚拟模型”。产品模型是真实对象(如，机械部件，组件，工具)的数字表示，他们的创作通常是使用3D CAD和3D建模工具(如，Solidworks, CATIA, Blender)。

??使用产品模型作为视觉资源的分析论文示例有[57]和[58]。
?

4.2 Class: How (are visual assets presented)?

4.2.1 Frame of Reference

??AR界面中视觉资源的参考框架是一个重要的分类标准，因为它会影响所提供的信息。我们使用了Gabbard等人提供的定义，[59]最初是在汽车AR接口的上下文中提出的。他们从用户的角度将参考框架概念化如下:

在显示器上的固定位置渲染固定屏幕位置（Screen-fixed）的AR图形，并且通常不会将空间上的任何特定对象锚定到场景中;
固定世界位置(或共形)（World-fixed (or conformal)）的AR图形被渲染成它们存在于现实世界的特定位置。

??固定世界位置的视觉资源(例如，注释[38])通常比固定屏幕位置的视觉资源传达更多的信息，因为前者所提供的信息与其现实世界参考之间的空间更接近。

4.2.2 Color Coding

??在工业领域，颜色的使用是由国际标准和内部惯例来规范的。例如，颜色用于管道材料性能的标识(ASME A13.1, 2007[60])、安全标志(ISO 3864[46])以及航空航天设施中产品状态的标识。5S是一种常见的工作场所组织方法，它建议在工作场所使用颜色来进行分类、校正、系统化清理、标准化和维持[61]。因此，我们将带有特定含义的颜色(例如，有目的的颜色语义)的视觉资源与任意颜色(或者我们根据论文的图形和/或相关的图形标题和文本感知到的任意颜色)的视觉资源区分开来。

4.2.3 Animation

??我们将动画视觉资源与静态视觉资源区分开来，因为动画的使用可以为用户提供进一步的方向或时间信息。我们认为动画视觉资源是那些随着时间的推移而改变其在界面中的位置/旋转/缩放，同时保持真实世界视角固定的视觉资源。动画视觉资源的例子包括:一个螺丝的产品模型，它通过动画显示拧开螺丝(位置和旋转的变化)，重复路径的虚拟箭头(比例的变化)和滑动文本(位置的变化)。在界面中占据固定位置的视频被认为是静态的，即使内容随着时间的推移而改变。

4.3 Class: Why (is the visual asset being used)?

4.3.1 Locating

??我们认为定位是视觉资源的重要用途，因为iAR元素可以帮助识别场景中感兴趣的对象。在iAR中，用户需要同时识别和定位视场内外的部件。定位始终是一项支持性任务，因为它不涉及系统状态的改变(无操作);相反，它是某些任务行动的先决条件。例如，定位任务可以是:定位要拧开的螺丝，定位要按下的按钮，或定位要使用的工具。

4.3.2 Operating

??操作任务是指用户在使用或不使用工具的情况下，对场景/系统状态所做的一切改变操作。操作任务一般在定位目标后执行。典型的例子包括逆时针拧下螺丝，按下按钮或举起杠杆。

4.3.3 Checking

??检查任务是为了作出决定而对某一物体进行检查(如确定其状态，或检测是否有错误)，但不进行后续操作。检查油位、差异检查、压力表压力检查或表面清洁都是检查任务的例子。

4.3.4 Warning

??在工业环境中，安全是第一位的。因此，即使是iAR接口也必须提供特殊警告，指出需要特别注意的潜在危险或情况，以防止伤害或避免可能威胁操作人员健康和安全的危险。工业危害几乎存在于每一个工作环境中(例如，辐射危害、高空危害、机器安全)，每种危害都需要特定的视觉资源来降低发生率。

在这里插入图片描述
表3 总结了122篇论文报告的iar用户界面中发现的348个视觉资源。
?

5 Results

??从我们的分析来看，这122篇论文呈现了348个视觉资源。从资源收集的来源来看，54(16%)个视觉资源来自视频，85(24%)个来自数字，156(45%)个来自数字和论文主体，而47(15%)个视觉资源仅使用了论文主体中呈现的信息。

??表3给出了所有识别的视觉资源的汇总统计数据。我们在维修、装配和人员培训领域的论文中脱颖而出。

??产品模型是所有应用领域中最常见的(348次中出现109次,31%)，其次是文本(91,26%)和辅助模型(89,26%)，而所有其他视觉资源的使用频率都较低(图6)。
在这里插入图片描述
图6。来自我们的系统审查中视觉资源在各种应用领域出现的数量。

??在维修领域(图7)，使用最多的视觉资源是文本(51次，30%)，在装配领域使用最多的是产品模型(49次，38%)，在人员培训领域使用最多的是辅助模型(16次，33%)。在装配中，文字使用较少(20%)，维修占30%，培训占29%，而技术图纸使用较多(5%)。
在这里插入图片描述
图7。关于“什么”和“如何”分类的结果。CAD模型，无论是产品模型还是辅助模型，几乎都是世界固定的，经常是动画形式。填充界面矩形区域的视觉资源大多用于屏幕固定和静态。文本同样是屏幕和世界固定的，几乎总是静止的。颜色编码较少使用。

??图8描述了“什么”和“如何”分类的结果。关于文本，屏幕固定(48次，53%)和世界固定(43次，47%)之间没有明显的偏好。相反，在产品模型上，世界固定资源(100次，92%)相对于屏幕固定资源(9次，8%)有很大的优势。辅助模型几乎都是固定的(88次，99%)。有迹象表明，全球固定资产略微盛行(3次，60%)。对于技术绘图、照片、绘图和视频来说，屏幕固定资源是普遍存在的。至于颜色编码，我们惊讶地发现它很少被使用(只有48个视觉资源，14%)。文字、产品、辅助模型、标识和绘图有时采用颜色编码。
在这里插入图片描述
图8。最常用的视觉资源会随着工业领域的不同而变化。

??最后，视觉资源中的动画很少被使用，但在使用时，大多出现在产品模型(图8中54次，50%)和辅助模型(21次，24%)中。图9显示了为什么视觉资源用于特定任务的分析。在定位方面，使用最多的是辅助模型(56或47%)，用于操作的是产品模型(64次，40%)，用于检查的是文本(22次，37%)。值得注意的是，在检查任务中，技术图纸的存在相当于其他任务(7次，12%)。至于警告任务，实例很少(只有9个视觉资源)，辅助模型很常用(5次，56%)。
?

6 Discussion

??我们提出的视觉资源分类和系统文献综述的结果揭示了一些有趣的模式，有助于回答我们的研究问题:“哪些是视觉资源，它们如何在iAR界面中用于维修、装配和人员培训任务?”

??表4给出了一个有用的结果总结，报告了每种任务类型以及三种最常用的可视化方法。一个致力于设计下一代手册的技术作者，利用web和AR内容，可以从这些关于这个主题的超过20年的文献综述开始。
在这里插入图片描述
表4。综合3种最常用的可视化方法(什么和如何)为不同的任务(为什么)。

??我们可以从结果中得出的第一个观察结论是，定位任务通常是通过固定的、静态的、辅助的或产品模型(总体59%)来支持的。CAD模型的使用帮助操作者识别一个真实的物体，或者观察他们的虚拟副本(产品模型)，或者突出它所在的空间区域(辅助模型)。因此，显而易见的是，为什么CAD模型经常是世界固定的，但也许不应该是动画，因为存在有限的附加值和不合理的高创作付出。定位任务是通过感知视觉资源来完成的，包括刺激预处理、特征提取和刺激识别。在将视觉注意引导到特定空间位置的方法中，Stork和Schub?[62]区分了外源性(或外周)线索(即在相关位置呈现显著的空间线索)和内源性(或中央)线索(即使用符号线索来指示空间位置)。外围线索比中心线索提供更快的注意力转移，因为后者需要额外的时间来解释符号。世界固定资产可以被认为是外围线索，因为信息准确地呈现在被定位的部分上。与静态教科书手册相比，这是使用AR的最大优势之一。然而，设计者应该评估产品模型的使用是否会比辅助模型提供更多的信息，考虑到前者需要更高的创作努力，不能与SAR一起使用，并且需要与真实产品精确对齐。具有显著属性的辅助模型，如动画、大小、方向、颜色和瞬态亮度变化，可以提供定位组件中单个对象或对象细节(如一个洞)所需的信息，如[63]。相反，为了在一个大型集合中定位一组对象，使用辅助模型可能会导致歧义的解释。在这些情况下，使用产品模型可以突出显示所涉及的对象的确切组，如[64]、[65]和[56]。

??第二个观察结论是，操作任务主要是通过固定世界的动画产品模型完成的(27%)。这是一个预期的结果，因为在一个操作任务中传达的主要信息是对对象的操作方式(例如，组装两个部分的方式)，产品模型的动画使用提供了一个强大的任务步骤完成预览。操作员观看动画，然后只需复制他们所观看的内容。同样的结果也可以通过视频教程实现，但是CAD模型的优点是可以注册到它们的实际组件上进行处理。固定世界的产品模型确实是外围线索，而视频是中心线索，因此在前者中，在信息和要处理的对象之间转移注意力的需求很小。然而，操作任务高度依赖于任务难度。然后，对于低难度任务，产品模型可以提供太多不需要的细节。例如，要指示旋开操作任务，就不需要有虚拟螺丝刀和螺丝的动画。在这些情况下，还可以探索其他视觉资源，如辅助模型和符号，它们需要较少的创作工作，并提供操作任务信息，而不需要太多无关的细节。

??在检查任务中，视觉资源的分散程度较高，主要偏好文本(30%)。检查任务的范围是如此之广，以至于应该逐个案例选择合适的视觉资源。使用文本是合理的，因为它是描述检查任务应该如何执行的最简单的方法，例如通过目视检查。文本需要充分描述上下文和/或提供物理特性的定量值(例如，压力计的压力)。因此，在分析的大多数AR界面中，作者倾向于使用与传统手册中相同的文本信息。然后，可以进行特定的研究来检查探索使用其他视觉资产的任务，如用于检验差异的静态产品模型，如[66]所做的那样。此外，AR界面中的文本优化研究也非常重要，特别是在可视化风格、翻译问题、摘要技术等方面。

??考虑到这次审查的总体结果，我们发现使用最多的视觉资源是产品模型，其次是文本，然后是辅助模型。所有其他视觉资源都不太常见。因此，由于产品模型的使用，仍然有很高的创作负担，这可能是导致AR原型应用程序可伸缩性受到限制的原因。此外，正在进行的研究表明，iAR中产品模型的有效性仍有待验证，Radkowski等人认为，“用户需要更多的时间来理解复杂的3D模型，这也是为什么不建议使用它们显示说明[10]的原因之一。”稀缺的一个可能的解释使用2D视觉资产,如照片,视频,图纸,技术图纸和标志可能是许多接口设计与展示小说的有效性跟踪系统的范围,以及小说呈现在三维虚拟内容的技术。因此，通过2D内容来展示这些技术的有效性是不可能的。此外，在其他情况下，它可能只是一个设计选择，事实上，照片、视频、绘图和技术绘图遮挡了现实世界的很大一部分，隐藏了它们背后的东西，特别是当它们被用于固定世界时。此问题涉及填充可视界面矩形区域的所有视觉资源。这些视觉资源的使用，以透明和小尺寸呈现，减少了遮挡，但信息理解可能会打折扣。其他视觉资源，如符号，可能并不普遍，因为它们引入了定义标准2D符号词汇来传达技术指令[47]的挑战。然而，与其他复杂的2D元素(如照片)相比，符号更容易识别和理解。这些复杂的2D元素精心制作，细节丰富，有时是不必要的。此外，标志会造成真实场景的轻微遮挡，它们也可以显示在界面上的屏幕固定。

??最后，特定信息与视觉资源颜色的关联(颜色编码)很少在分析的界面中使用。颜色编码之所以很少使用，可能是因为人们没有充分考虑到这种技术作为一种传递特定信息的手段。可能，iAR研究人员更多地关注于跟踪、可视化和交互技术等方面，而忽略了一些看似次要的方面，如用颜色编码传递信息。

??据我们所知，这是关于在iAR界面中使用视觉资源的第一次综述。因此，我们的结果很难与该领域的其他工作相比。在[31]中，在维修中使用2D/3D模型多于文本。如果同时考虑产品和辅助模型，我们的结果与[31]一致。然而，他们发现动画模型比静态模型更多。

??虽然这里提出的结果是分类和讨论什么、如何和为什么使用iAR视觉资源的一个有用的起点，但我们不能直接将这些发现推广到文献中所有现有的AR接口(工业或其他)。这只是122个选定iAR应用程序的快照。此外，本文分析的视觉资源不一定是最优iAR界面设计的选择。事实上,有许多因素需要考虑定义一个“最佳”iAR接口,如:认知努力(比如,一个3D模型比纯文本更复杂[10]),影响界面的行为和态势感知能力,编辑[67],[68],[69]和风格等等。

??我们正在继续这项研究，我们从启发式评估开始考虑所提议的视觉资源的优点和缺点[70]。从这一初步的研究，有可能揭示该领域的一些未来的研究方向。例如，符号和辅助模型的使用可以作为最流行的产品模型的操作说明的替代方法。符号和辅助模型的编写首先要定义一个库。然后，当技术编写人员创建一个新的指令文档时，可以很容易地从这个库中收回预先确定的符号和辅助模型。通过这种方式，由于可视化资产的标准库可以在许多iAR应用程序中重用，因此编写工作更少。但目前还没有标准可遵循，因此未来的研究可以集中在视觉资源标准库的定义上。

??我们的回顾还可以引出其他未来的方向。其中一项研究可以更广泛地利用颜色编码来传递信息，同时考虑到色盲的局限性[71]。还需要对检查任务进行具体的研究，因为在文献中，这种类型的指导已经呈现了各种各样的视觉资源。

??最后，未来的研究需要找到提供完整指令的最佳方法，即结合定位、操作、检查和警告任务，结合不同的视觉资源，并支持适应任务难度和操作员知识的上下文感知iAR接口。
?

7. Conclusions

??在这项工作中，我们提出了一个系统的文献回顾的可视化方法的技术说明在iAR原型和概念的维修，装配和培训程序。第4节中提出的每个类别的扩展被证明是相互排斥的，并且对所有分析的348个视觉资源都是详尽的，从1997年至2019年发表的122篇选定论文中提取出来。我们提出了一种新的iAR技术视觉资源分类，根据以下几点:(i)通过视觉资源显示什么内容，(ii)视觉资源如何传达信息，以及(iii)为什么使用视觉资源。
主要发现如下: