一行字实现3D换脸！UC伯克利提出「Chat-NeRF」，大片级渲染 _伯克利

由于神经3D重建技术的发展，捕获真实世界3D场景的特征表示从未如此简单。
然而，在此之上的3D场景编辑却一直未能有一个简单有效的方案。
【一行字实现3D换脸！UC伯克利提出「Chat-NeRF」，大片级渲染】最近，来自UC伯克利的研究人员基于此前的工作，提出了一种使用文本指令编辑NeRF场景的方法——- 。
论文地址：
利用- ，我们只需一句话，就能编辑大规模的现实世界场景，并且比以前的工作更真实、更有针对性。
比如，想要他有胡子，脸上就会出现一簇胡子！
或者直接换头，秒变成爱因斯坦。
此外，由于模型能不断地使用新的编辑过的图像更新数据集，所以场景的重建效果也会逐步得到改善。
NeRF += -
具体来说，人类需要给定输入图像，以及告诉模型要做什么的书面指令，随后模型就会遵循这些指令来编辑图像。
实现步骤如下：
在训练视角下从场景中渲染出一张图像。
使用模型根据全局文本指令对该图像进行编辑。
用编辑后的图像替换训练数据集中的原始图像。
NeRF模型按照往常继续进行训练。

文章插图
实现方法
相比于传统的三维编辑，是一种新的三维场景编辑方法，其最大的亮点在于采用了「迭代数据集更新」技术。
虽然是在3D场景上进行编辑，但论文中使用2D而不是3D扩散模型来提取形式和外观先验，因为用于训练3D生成模型的数据非常有限。
这个2D扩散模型，就是该研究团队不久前开发的——一款基于指令文本的2D图像编辑模型，输入图像和文本指令，它就能输出编辑后的图像。
然而，这种2D模型会导致场景不同角度的变化不均匀，因此，「迭代数据集更新」应运而生，该技术交替修改NeRF的「输入图片数据集」，并更新基础3D表征。
这意味着文本引导扩散模型（）将根据指令生成新的图像变化，并将这些新图像用作NeRF模型训练的输入。因此，重建的三维场景将基于新的文本引导编辑。
在初始迭代中，通常不能在不同视角下执行一致的编辑，然而，在NeRF重新渲染和更新的过程中，它们将会收敛于一个全局一致的场景。
总结而言，方法通过迭代地更新图像内容，并将这些更新后的内容整合到三维场景中，从而提高了3D场景的编辑效率，还保持了场景的连贯性和真实感。
可以说， UC伯克利研究团队的此项工作是此前的延伸版，通过将NeRF与结合，再配合「迭代数据集更新」，一键编辑照样玩转3D场景！
仍有局限，但瑕不掩瑜
不过，由于-是基于此前的，因此继承了后者的诸多局限，例如无法进行大规模空间操作。
此外，与一样， -一次只能在一个视图上使用扩散模型，所以也可能会遇到类似的伪影问题。
下图展示了两种类型的失败案例：
（1）无法在2D中执行编辑，因此在3D中也失败了；
（2）在2D中可以完成编辑，但在3D中存在很大的不一致性，因此也没能成功。