需求
在HoloLens2中,使用webcam扫描中型物体,然后触发事件
环境
visual studio2019 unity2020.3.20f1c1 HoloLens2 vuforia10.2.5 MRTK2.7.3
实现
1、先分析下,使用vuforia的object scanner是否可行:这种方式针对体型小、特征点多的物体合适,需要配合安卓apk——vuforia object scanner、打印的扫描纸,将物体放到右上角,接着拿起手机围绕物体进行扫描。若物体表面的凹凸不够,达不到比较多的识别点要求(150以上为佳),甚至还要贴些东西到物体上。 2、vuforia的model target:模型识别 这种方式,就是根据模型文件,来识别真实物体。当然前提是,模型的尺寸要比较贴近真实物体的尺寸,vuforia允许10%内的误差。 一般工作流程:得到模型文件(一般推荐FBX与OBJ格式)——导入到vuforia的Model Target Generator(下称MTG)——跟着流程进行,生成standard model target——生成的unitypackage导入unity——使用预制体modelTarget,往他下面放子物体,这样识别到子物体才显示,否则隐藏。 下面我使用的是iPhoneXR的模型,刚好笔者手头有一台用了好几年的iPhoneXR。模型文件、unitypackage在下面提供下载 下载资源
注意事项
当部署到HoloLens,发现子物体有偏移时,可尝试下面步骤 1、确保模型尺寸和真实物体一致 2、在MTG中修改guide view,即发现物体时看到的面,尽量贴合现实情况看到的角度 3、为了保证性能,不用的时候关闭vuforiabehaviour.enable 4、使用脚本frameRateSetting.cs锁帧率,锁HoloLens 60帧 5、vuforia configuration的camera device mode = speed,加速识别 6、避开同时使用vuforia与webcam,例如相机截图 7、在HoloLens中进行目视校准 8、在unity-build setting-player setting-player-publishing setting-supported device families 支持的设备系列下, 确保 选中全息holographic 。 9、禁用 在后台运行 run in background, 以便 Vuforia 在应用程序进入后台时暂停,并在应用程序恢复时再次访问相机。 10、在 Default Orientation 下拉菜单中,确保 选择Landscape Left 11、按照ARCAMERA设置,拷贝到MRTK的相机里(两个脚本,vuforiabehaviour和default error handler)
不用vuforia10.5.5的原因
在unity2020.3.20f1c1导入时会报错 1、custom video input - Could not connect pins - RenderStream() 2、SerializedObjectNotCreatableException: Object at index 0 is null
以后抽空再来研究,而10.2.5版本尝试使用MTG经过云训练的model target时会报错,应该要更高版本才支持
参考链接
vuforia的创建Model target的文档 MTG下载 unity2020 vuforia model target的油管教程
|