论文题目：

KD-Former: Kinematic and dynamic coupled transformer network for 3D human motion prediction

内容摘要：

通过运动学知识对运动进行描述，三维人体动作预测在近几年取得了显著的进步。但是，运动学只考虑人体骨骼的三维位置或旋转，并不能揭示人体运动的物理特征。运动的动力学反映了关节之间的作用力，显式描述了骨骼的拓扑结构，但运动的动力学很少用在运动预测问题中。在论文中，作者提出了一种运动学（Kinematic）和动力学（Dynamic）耦合的Transformer网络，可用于运动预测，该网络被称为KD-Former。KD-Former不仅能学习运动学信息，也学习了动力学信息，最终可进行高保真的动作预测。具体来说，作者首先建立了一个低阶的人体动力学模型用于计算所有关节的里。然后，设计了一种基于Transformer的非自回归编码器-解码器框架。其中，编码器包括运动学编码器和动力学编码器，分别从历史数据中获得运动学特征和动力学特征。编码器包含一个空间Transformer和一个时间Transformer。最后，利用解码器对历史数据的运动学信息和动力学信息进行解码以获得未来的动作序列。为了证明算法的有效性和优越性，论文在Human3.6M、CMU MoCap数据集上进行了实验。

图1 网络结构图

图2 动力学计算模型

图3 在Human3.6M和CMU MoCap数据集上的动作预测定性对比结果

作者主要贡献：

白隽瑄老师为基于物理的动作预测算法设计提供了大量贡献，并对论文撰写提供了建议。

期刊介绍：

《Pattern Recognition》是中国计算机学会（China Computer Federation）“推荐国际学术刊物”中人工智能类B类期刊（CCF-B刊），属于SCI Q1区期刊，在计算机科学-人工智能领域处于25/145，2022年影响因子达到8.0。《Pattern Recognition》是一个成熟但令人兴奋的快速发展领域，是计算机视觉、图像处理、文本和文档分析以及神经网络等相关领域发展的基础。它与机器学习密切相关，并在生物识别、生物信息学、多媒体数据分析和最近的数据科学等快速新兴领域得到应用。《Pattern Recognition》杂志创刊于大约50年前，当时该领域正处于计算机科学的早期。在过去的几年中，该领域得到了长足的发展。

作者信息：

白隽瑄，博士，首都体育学院体育人工智能研究院讲师。主要研究方向为计算机图形学、虚拟现实。2021年于北京航空航天大学计算机学院虚拟现实技术与系统国家重点实验室获得博士学位，现为运动生物力学研究中心团队成员。在IEEE VR、IEEE ISMAR、ACM VRST、PG、DCC、CGF、TVC、CAVW、SCIENCE CHINA Information Sciences等计算机领域国际主流期刊和会议发表论文14篇，授权专利4项。2023年1月入选北京科协2023-2025年度青年人才托举工程。