【论文简述】Generalized Binary Search Network( 三 )


6. 网络优化
损失函数 。适用于概率体和真实占用体G的标准交叉损失 。有效掩码图首先获得一组有效像素Ω q,然后计算所有有效像素的平均损失如下:
节约内存的训练 。多阶段的MVS方法通常对所有阶段的损失进行平均然后反向传播梯度 。然而,由于梯度在不同阶段的积累,这种训练策略消耗了大量的内存 。在我们的GBi-Net,用一种更高效的内存方式训练网络 。具体来说,在每个阶段之后立即计算损失和反向传播梯度 。梯度不会跨阶段累积,因此最大内存开销不会超过规模最大的阶段 。为了使多阶段训练更加稳定,首先将最大搜索阶段数设置为2,并随着epoch数的增加逐渐增加 。
7. 实验
7.1. 数据集
DTU、、Tanks and
7.2. 实现细节
训练细节:在DTU数据集训练及评估;在数据集上进行训练,在数据集评估 。提出了一种在线随机裁剪数据增强 。首先将图像从裁剪到,再从1024×1280的图像中随机裁剪512×640的图像 。理由是,从较大的图像中裁剪较小的图像有助于学习较大图像比例的其他特征,而不会增加训练开销 。在数据集上进行训练时,使用原始分辨率576×768 。.对于所有序列:N=5,即1个参考图像和4个源图像 。采用中提出的鲁棒训练策略,以更好地学习像素权重 。最大阶段编号设置为8 。对于每两个阶段,共享相同的特征图比例和3D-CNN网络参数 。用Adam 优化器对整个网络进行了16个阶段的优化,初始学习率为0.0001,在10、12和14个阶段后,将其缩小了2倍 。在两块 RTX 3090 GPU上训练,batch size=4 。
测试细节:在DTU训练集上训练的模型用于在DTU测试集上进行测试 。N=5,分辨率为1152×1600 。每个样本测试需要0.61秒 。在数据集上训练的模型用于在 数据集上进行测试 。分辨率为1024×1920或1024×2048,以使图像可被64整除,N=7 。所有测试均在 RTX 3090 GPU上进行 。
【【论文简述】Generalized Binary Search Network】7.3. 与先进技术的比较