[CVPR2021]NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

标题：NeRV: Neural Reflectance and Visibility Fields for Relighting and View Synthesis

链接：https://arxiv.org/pdf/2012.03927

本文的主要目的是基于NeRF的重光照。原本的NeRF中要求所有视角中的图片的光照方向，都是一致的，因此合成出来的结果中的光照自然也是都一样的，无法改变，而本文就是希望可以通过对光线建模来允许对于光照条件的任意操控。

NeRF本质上是将场景建模为往外发射光线的实体，而NeRV则是将场景当做可以反射光线的实体。由于物体颜色的本质就是光照的结果，因此NeRV就单独对密度和反射光照建模（NeRF是对密度和颜色联合建模），密度和NeRF是没啥区别的，而反射光照则是基于BRDF的反射方程，即要求对应的MLP预测出物体表面的粗糙程度和3D反射率。另外，值得一提的是，物体表面的法线是可以由密度信息推理出来的。

另外，由于光在物体间的反射几乎无穷无尽，因此如果真的按照现实情况对物体做渲染那计算量绝对爆炸，所以作者提出了一系列优化方案，让模型对于光照的模拟更加高效。

第一就是提出了一个可见度MLP，用于预测输入点的环境光照能见度和光线的终止深度。

并且通过与随机采样的真实（模拟）光照做loss来保证结果的真实性。

之后的涉及到比较多光照相关的知识，有点没看懂，可能需要先补补课然后重新阅读。