[人工智能]Nerf项目LLFF 解决新场景pose生成的问题

几个重要的链接地址

1. github-llff : https://github.com/fyusion/llff
2. github-yen: https://github.com/yenchenlin/nerf-pytorch
3. github-2020eccv： https://github.com/bmild/nerf

LLFF项目了解

这是一个利用预训练好的 模型，来进行render的demo。

bash download_data.sh
sudo docker pull bmild/tf_colmap
sudo docker tag bmild/tf_colmap tf_colmap
sudo nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap bash demo.sh

demo.sh 的内容如下：

# Use COLMAP to compute 6DoF camera poses
python imgs2poses.py data/testscene/

# Create MPIs using pretrained network
python imgs2mpis.py \
    data/testscene/ \
    data/testscene/mpis_360 \
    --height 360
    
# Generate smooth path of poses for new views
mkdir data/testscene/outputs/
python imgs2renderpath.py \
    data/testscene/ \
    data/testscene/outputs/test_path.txt \
    --spiral
    
cd cuda_renderer && make && cd ..
    
# Render novel views using input MPIs and poses
cuda_renderer/cuda_renderer \
    data/testscene/mpis_360 \
    data/testscene/outputs/test_path.txt \
    data/testscene/outputs/test_vid.mp4 \
    360 .8 18

运行nvidia-docker run --rm --volume /:/host --workdir /host$PWD tf_colmap bash demo.sh 完成后，输出文件如下：

! 学到一个小技巧

--volume /:/host --workdir /host$PWD 可以直接进入到当前目录下。

尝试利用llff为自己的数据集生成pose。

通过 sudo nvidia-docker run -it --rm --volume /:/host --workdir /host$PWD tf_colmap 创建并进入容器
通过 python imgs2poses.py data/img_desk1/ 为自己指定的数据集生成pose
运行后结果如下：

推测，最有价值的文件是 poses_bounds.npy

This script calls COLMAP to run structure from motion to get 6-DoF camera poses and near/far depth bounds for the scene.

MIP是什么？

这个问题先不管，紧跟我们的目标—— 要在yen上训练新的数据集。
所以这个问题就先告一段落了。