制作流程演示视频
https://www.bilibili.com/video/BV1Xf4y1n7yj/
目标：
使用Unity ARFoundation、ARkit、Timeline开发一套可以在Unity进行视频后期制作的工具。
设备要求：
支持ARkit的iOS设备，需要设备有LiDAR激光雷达(iPhone 12 Pro/Max、iPadPro)
原理：
1、扫描拍摄空间的静态物体并保存网格
2、手机端记录视频帧画面及该帧摄像机的Fov、位置和旋转
3、发送视频数据和网格数据到Unity
4、处理视频数据生成可以在Timeline播放的clip数据格式
5、处理Mesh数据生成网格
6、使用ChromaKey着色器去除绿幕背景
(也可以在AE、Blender等工具进行更精细抠图处理后替换图片)
7、处理前中后 Camera的渲染画面的叠加?
8、搭建场景、导入Mesh作为后期制作的坐标参考
9、场景美化、灯光、阴影、后处理...
10、使用recorder输出视频
处理前效果
处理后效果
总结：
该方案可以制作一些要求不高的视频后期处理，如果要专业的处理还是要用专业的影视后期制作软件。
欢迎大家提出更好的想法、反馈建议~