人文艺术与数字媒体学院研究生论文被计算机视觉顶级会议CVPR 2023录用

       近日，我院智能媒体计算研究所最新论文被人工智能与计算机视觉领域的CCF A类顶级会议CVPR 2023录用，论文第一作者为硕士生彭小刚，第二作者为硕士生毛思远，通讯作者为吴子朝副教授。CVPR是计算机学科普遍认可的计算机视觉领域顶级国际会议，被中国计算机学会（CCF）列为A类会议，今年论文录用率为25%左右。根据当前流行的Google Scholar Citation统计，CVPR排在所有学科目录第4位（Nature第1位，Science第3位），排在工程与计算机学科榜单第1位。

      论文“Trajectory-Aware Body Interaction Transformer for Multi-Person Pose Forecasting”以多人动作预测为研究方向。多人三维人体姿态（运动）预测在计算机视觉和人工智能领域都有着巨大的应用价值，例如人机交互，无人驾驶，智能监控和虚拟现实等，其解决的任务是根据观察到的一段运动序列去尽可能准确地预测未来的姿态变化和运动轨迹。现有的大部分研究方法基本都基于单人姿态预测，没有考虑人与人之间的复杂交互影响，如下图所示。此外基于单人预测的方法主要关注如何建模人体的局部姿态运动而忽略了在三维环境中的全局位置变化。近年来，虽然逐渐出现了一些多人姿态预测的工作来解决上述问题，但这些方法只简单将人体姿态序列表征成时序序列来建模人体之间的运动相关性，没有更加细粒度地去建模人体之间的身体部位交互。

图1. (a) 复杂场景下的多人运动交互，其交互程度有高有低。(b) 关于身体部位交互的建模思路。

       因此，研究团队提出一个基于轨迹感知的身体互动Transformer模型去有效建模多人之间的身体部位互动。为了给Transfomer模型输入更有效的数据，我们先引入一个时序部位划分模块，将每个人的姿态运动序列按照身体部位进行划分并把所有人划分好的序列拼接成一个整体，称作多人身体部位序列(MPBP) 。 该序列包括了多人的时序和身体部位信息。 我们的方法在相关数据集的短期 (0.2 ~1.0s) 和长期 (1.0~3.0s) 预测任务上都表现出最佳的性能。

       这也是我院教师吴子朝副教授研究团队连续第二年论文被CVPR接受。在过去一年多的时间里，该团队已发表CCF-A论文两篇（CVPR），CCF-B论文两篇（CGF，GM），JCR-1区论文两篇（TMM，IJIS）。