Towards High _纹理

论文链接：
首先肯定了3DMM 从单视图图片重建人脸的巨大成功，然后点出了存在的不足——面部纹理失真，然后介绍了近几年的研究方向向使用从面部纹理的高分辨率 UV map的大规模数据库训练的生成网络恢复高质量面部纹理，但是这些网络是不公开的，并且难以复现，本文提出了从in-the-wild单视图图像重建具有高保真度的3D人脸，而无需捕获大规模人脸纹理数据库。主要思想是使用输入图像中的面部细节改进由基于 3DMM 的方法生成的初始纹理。文章提出用图卷积网络来重建mesh的细节颜色，代替原本的重建UV map 。
1、
3DMM是一种从数百张人脸扫描中重建出3D人脸的统计模型，但是纹理还不够保真，原因是基于3DMM重建出的人脸不能捕捉人脸的面部纹理细节，尤其是in-the-wild图片。为了从2D图片重建出高质量纹理，Uv-gan:uv mapfor pose- face 和:for high3d face 做了很多工作。前者学习一个生成模型来完成自遮挡区域面部UV贴图，后者首先利用 GAN 在 UV 空间中训练面部纹理生成器，然后使用非线性优化以找到最佳潜在参数。虽然它们可以实现高保真纹理，但它们的方法需要大规模的高分辨率数据库UV 贴图，不公开。此外，捕获这样的数据库相当费力，这是不可行的对于普通用户。
本论文的目的就是从单张图片高质量重建出人脸而不需要大规模的数据，文章认为，虽然缺乏细节，3DMM纹理模型可以提供一个整个面部网格的全局合理颜色。通过将图像中的面部细节引入面部网格，进一步细化此初始纹理。为此，我们建议重建网格顶点的详细颜色而不是重建UV贴图。特别的是，文章利用GCN来解码图像特征并传播详细的 RGB面网格顶点的值。
文章重建框架基于 3DMM 模型和 GCN 的组合以从粗到细的方式工作。训练卷积神经网络 (CNN) 以从 2D 图像回归 3DMM 系数（身份/表情/纹理）和渲染参数（姿势/光照）。使用 3DMM 模型，可以使用仿射模型。
在关键阶段，我们利用预训练的 CNN 从图像中提取人脸特征，并将它们馈送到图形卷积网络，为网格顶点生成详细的颜色。我们的框架采用可微渲染层 [13] 来实现自监督训练，并通过 GAN 损失 [16] 进一步改进结果。总之，本文做出了以下贡献：
? 我们提出了一种从粗到细的框架，用于从单个图像重建具有高保真纹理的 3D 人脸，而无需捕获大量高分辨率的人脸纹理数据。
? 据我们所知，我们是第一个使用图卷积网络生成高保真面部纹理的人，它能够为图像中的网格顶点生成详细的颜色。
? 我们将我们的结果与最先进的方法进行比较，我们的方法在定性和定量比较方面都优于其他方法。
2、 work 2.1 3DMM 2. aFace Model
从单个图像重建 3D 人脸的经典方法是将模板模型迭代地拟合到输入 2D 图像。然而，这种方法对 2D 人脸图像的光照、表情和姿势很敏感。已经进行了一些改进 [2, 22, 30] 以提高拟合稳定性和准确性，但它们在野外图像上表现不佳。
基于深度学习的方法直接从图像中回归 3DMM 系数。为了获得用于监督学习的配对 2D-3D 数据，等人。[28, 29] 通过从可变形人脸模型中随机采样生成合成数据，但这种方法在处理复杂的光照、遮挡和其他野外条件时可能表现不佳。陈等人。[35] 不生成合成数据
直接地。相反，他们使用迭代优化来创建地面实况以适应大量人脸图像。
尽管如此，在不受控制的环境中变得脆弱的问题仍然存在。
最近，引入了可微渲染器 [13, 34] 。它根据人脸形状、纹理、光照等相关参数将 3D 人脸网格渲染为 2D 图像，并将渲染图像与输入图像进行比较，以计算图像差异方面的损失。