推荐 | Transformer最新成果！Learn to Dance with AIST++: Music Conditioned 3D Dance Generation！

论文：Learn to Dance with AIST++: Music Conditioned 3D Dance Generation

数据集：https://google.github.io/aistplusplus_dataset/

提出了一个基于Transformer的学习框架，用于基于音乐的3D舞蹈生成。设计了一个全新的网络框架，并验证得出得到高质量结果的关键。其中组件之一是深度跨模transformer，能够很好地学习音乐和舞蹈运动之间的相关性，而且具备 future-N 机制的全注意力在产生长距离 non-freezing 运动中相当重要。

AIST++ 数据集

咱们提出了一个名为AIST++的成对3D运动和音乐的新数据集，咱们从AIST多视点舞蹈视频中重建该数据集。AIST++是一个大型的3D人体舞蹈动做数据集，包含各类各样的3D动做搭配音乐。

AIST++提供了 10.1M 张图像的 3D 人体关键点标注和相机参数，涵盖 9 个视角的 30 个不一样主体。以此成为现有的最大、最丰富的三维人体关键点标注数据集。

AIST++包含了 1408 个三维人体舞蹈运动序列，以 joint rotations 和 root trajectories 一块儿的形式表示。舞蹈动做平均分布在 10 个舞蹈流派和数百个编排中。动做持续时间从7.4秒到48.0秒不等。全部的舞蹈动做都有相应的音乐。

AIST++与其余数据集的比较，在长度方面，咱们的AIST++数据集排名第三。在动做方面，咱们的AIST++数据集有10种不一样类型的舞蹈动做伴随音乐。Human3.6M第二大数据集[36]，只有简单的行走，坐下等动做。

AIST++数据集10种3D人体舞蹈动做。

结果：与两种基线方法相比，咱们的模型产生的运动更真实，与输入音乐的相关性更好，并在不一样的音乐条件下更多样化。*注意Li等人[51产生的运动是高度紧张的，使其速度变化很是高。

仅做分享，不表明本号立场，侵权联系删除