Towards High( 二 ) _纹理

有了这样一个固定的、可区分的渲染层，无需训练对就可以启用无监督或弱监督的训练。我们也遵循这个策略。采用等人的可微渲染器。[13]for 3dmodel，它被称为“tf-mesh-”，作为我们的可微渲染层。
2.3.ofFace
最近基于深度学习方法是为了通过回归3DMM人脸纹理系数从单张图片中重建出人脸纹理。例如，3d facewith - : Fromimage to image set同时预测3DMM的形状和纹理系数。它在训练过程中采用照明和渲染模型，并进行图像级和感知级损失，导致比其他人更好的结果。然而，他们生成的纹理仍然固有地受到 3DMM 纹理模型的限制。在我们的方法中，我们部署他们的方案来训练 3DMM 系数回归模型，以获得全局合理的面部纹理。然后我们利用图卷积网络来用图像细节细化纹理。
2.4. Graph
为了在非欧几里得结构化数据中启用卷积运算，Bruna 等人。[5] 利用图拉普拉斯算子和傅立叶基础对 CNN 进行了首次图上的扩展。
然而，它在计算上很昂贵并且忽略了局部特征。德弗拉德等人。[9] 提出了，它通过截断的多项式来近似光谱滤波器，避免了傅立叶基的计算。
CoMA [27] 引入了网格下采样和网格上采样层，它构建了一个自动编码器来学习 3D 面部网格的潜在嵌入。
受 CoMA [27] 的启发，我们的方法从 2D 图像中学习表示详细人脸颜色的潜在向量，然后对其进行解码以使用图卷积网络为人脸网格顶点生成详细颜色。
【Towards High】3、

文章插图
我们提出了一种从粗到细的 3D 人脸重建方法。如图 2 所示，我们的框架由三个模块组成。特征提取模块包括一个用于回归 3DMM 系数、人脸姿态和光照参数的，以及一个用于提取图像特征以进行后续细节细化和身份保留的[32] 。
纹理细化模块由三个图卷积网络组成：一个 GCN 解码器，用于解码从提取的特征并为网格顶点生成详细颜色，一个 GCN 细化器，用于细化从回归器生成的顶点颜色，以及一个组合器，用于组合两种颜色产生最终的顶点颜色。鉴别器试图通过对抗训练来提高纹理细化模块的输出。
3.1. 3DMM
算法的第一步是用CNNs回归 3DMM输入图像的系数和渲染参数。采用 3d facewith - : Fromimage to image set.中最先进的 3DMM 系数回归器来完成这项任务。
给定一个 2D 图像 I，它回归一个 257 维向量 (ci, ce, ct, p, l) ∈ R 257，其中ci ∈ R 80、ce ∈ R64 和ct ∈ R80 分别表示3DMM 身份、表达和纹理系数。
p ∈ R6 是面部姿势，l ∈ R 27 是光照。使用预测系数，人脸顶点的 3D 位置 S 和反照率值 T 可以用公式（1）计算。
此外，我们利用预训练的[: Afor faceand ] 从人脸图像中提取特征向量。提取的特征有两个目的。首先，它可以被视为我们的解码器的图像特征嵌入，以便为网格顶点生成详细的反照率颜色，这在第 3 节中描述。3.3. 其次，它可以用于测量Sec中的身份保留损失中的身份距离在3.4中。
3.2.
为了训练我们的网络，我们进行了一种带有可微渲染层的自监督方法。也就是说，我们将面部网格渲染为具有预测参数的 2D 图像，并根据渲染图像和输入图像之间的差异计算损失。我们采用了[for 3dmodel .]中的可微渲染层，它引入了基于延迟着色模型的通用可微光栅化器。
光栅化器使用三角形 ID 和像素的重心坐标计算屏幕空间缓冲区。来自网格的颜色和法线在像素处进行插值。在训练期间，顶点法线被计算为周围三角形法线的平均值。具体来说，利用回归器生成的形状 S、纹理 T 和姿势，我们可以计算投影到输入图像上的面部反照率。