【2021-CVPR

研究内容:
单人-单视图-有监督
创新点:
?提出适用于多尺度人体骨骼特征提取的Graph 模块,包括考虑人体骨骼结构的新型池化和解池操作——骨骼池化和骨骼(反池化)
?其次,我们引入了图堆叠沙漏网络(Graph, ),由提出的图沙漏模块组成,该模块在架构的不同深度包含多层次的特征表示 。
【【2021-CVPR】现有技术:

【2021-CVPR

文章插图
图卷积(只能在一个单一尺度上对特征进行处理,难以提取表征空间的局部和全局空间信息,限制了模型的表征能力,没有利用模型的深度特点) 。
通常对于图像特征提取,分为
由于图结构的不规范性,其不能直接使用图像特征提取的方法,本文提出图堆叠沙漏网络、改为适用于图结构模型的
【2021-CVPR

文章插图
因人体骨架的拓扑结构特点,可以被视为图结构,因此越来越多的实验选用图卷积(GCN)
(本文中“图堆叠网络”的“堆叠”是指重复提取特征,以此提高模型性能)
数据集:
.6M数据集是在三维人体姿态估计任务中使用最广泛的数据集 。它利用运动捕捉获取被测对象的三维姿态信息,并通过4个不同方向的摄像机记录相应的视频图像信息 。根据所提供的摄像机参数,我得到每一帧图像中对应的2D联合坐标的 truth 。该数据集通过记录11名专业演员表演的15种不同动作,如吃饭、走路等,提供了360万张图像 。本实验中,主要使用.6M进行训练和测试 。其评价指标为:MPJPE协议1和MPJPE协议2 。
MPI-INF-3DHP测试集提供了三种不同场景的图像:有绿屏的工作室(GS)、没有绿屏的工作室(noGS)和户外场景() 。本文使用这个数据集来测试网络的泛化性能 。其评价指标为:3DPCK和AUC 。