利用深度学习算法 GAN 可实现动做追踪与迁移，将某人物动做复制到其余人，应用到舞蹈领域，人人皆可成舞王。算法
最近，《这！就是街舞》第二季开播，又一次燃起了全民热舞的风潮。网络
刚开播没多久，这个全程高能的节目，就在豆瓣上就获得了 9.6 的高分。舞者们在比赛中精彩的表演，让屏幕前的吃瓜群众直呼「太燃了！」「惊艳！」，甚至不由自主跟着音乐抖起来了。架构
然而，真要本身跳起来，实际与想象之间，估计差了若干个罗志祥。想象中，本身是这样的：框架
但实际上倒是这样的：工具
对于舞者来讲，他们的动做叫作 Hiphop，Breaking，Locking 等等，而对于吃瓜群众来讲，就是抖来抖去，滚来滚去，指来指去……学习
可能这辈子和街舞无缘？仍是去跳跳广场舞吧……网站
等等！先别急着放弃，加州大学伯克利分校的几位大佬，为各位研究了一个 AI「秘密武器」，让你瞬间舞技爆发，成为下一代舞王。编码
人人都能当舞王
去年 8 月，加州大学伯克利分校的研究人员推出一篇题目为《Everybody dance now》的论文，使用深度学习算法 GAN（Generative Adversarial Networks，生成式对抗网络），能够复制专业表演者的动做，并将动做迁移到任何人身上，从而实现「Do as I do」（舞我所舞）。人工智能
先来看复制舞蹈的结果展现，感觉一下：spa
以前 Deepfake 换脸技术大火，如今居然整我的均可以「Deepfake」了！咱们看一下这个神操做是怎么实现的。
论文中介绍道，迁移动做方法总的分为如下步骤：
- 给定两个视频，一个是动做源视频，另外一个是目标人物视频；
- 而后使用一种算法，从源视频中检测专业舞者的舞姿，并建立相应运动的火柴人框架；
- 接着，使用训练的两种生成对抗网络（GAN）的深度学习算法，建立目标人物的所有图像，并为其生成更清晰、更逼真的视频图像。
最终结果是，该系统能够把专业舞者的身体动做映射到业余舞者的身上。除了模仿动做以外，它还可以完美地虚构人的声音和脸部表情。
黑科技背后原理揭秘
这项黑科技具体原理是这样的，将动做迁移管道一共分为三个部分：
1. 姿态检测：
团队使用现有的姿式检测模型 OpenPose（CMU 开源项目），从源视频中提取身体、面部和手部的姿式关键点。这一步的本质是对身体姿式进行编码，忽略掉身体外形等信息。
2. 全局姿态标准化：
计算给定帧内源和目标人物身体形状、位置之间的差别，将源姿态图形转换到符合目标人物身体形状和位置的姿态图形。
3. 从标准化后的姿态图形，推断目标人物的图像：
使用一个生成式对抗网络模型，训练模型学习从标准化后的姿态图形映射到目标人物图像。
在开发系统过程当中，团队使用了 NVIDIA TITAN Xp 中的 GeForce GTX 1080 Ti GPU，和由 PyTorch 加速的 cuDNN 来训练和推理。
在图像转换阶段，采用了 NVIDIA 开发的对抗训练的图像翻译 pix2pixHD 架构。经过 pix2pixHD 的全局生成器来预测面部残差。他们对面部使用单个 70×70 PatchGAN 判别器。
训练过程当中，源视频和目标视频数据的收集方式略有不一样。为确保目标视频质量，使用手机相机，以每秒 120 帧的速度拍摄目标主体的实时镜头，每一个视频时长至少 20 分钟。
对于源视频，只须要获得合适的姿式检测结果，因此用网上表演舞蹈的高质量视频便可。
对于系统的结果，研究人员表示还不完美。尽管它产生的视频大多仍是很是逼真的，可是偶尔也会露出马脚，好比出现身体某部位消失，就像「融化」了之类的异常现象。
此外，因为算法不对衣服编码，没法产生衣服随动做飘舞的视频，目标者必须穿紧身衣服才行。
若是暂且不计较这些缺点的话，这个技术的确使人兴奋。
有了这个 AI 工具，即便你是个舞蹈方面的小白，或者四肢僵硬不协调，也能像郭富城，罗志祥，或者任何你喜欢的舞者那样成为「舞林高手」。即便是杰克逊的太空步，对你来讲也都只是小菜一碟了。
不过，拥有一个舞蹈梦的，不止伯克利分校这一个团队。谷歌在 AI 和跳舞的结合上也花了心思。
谷歌 AI 编出舞蹈新花样
去年年末，谷歌艺术与文化部技术项目经理 Damien Henry 与英国编舞家 Wayne McGregor 合做，共同研发了一种可以自动生成特定风格的舞蹈编排工具。
拥有普利茅斯大学名誉科学博士学位的 McGregor ，对科学和技术素来感兴趣。当他回顾本身 25 年来的舞蹈视频时，想到可否经过技术来使表演保持新鲜感。因而他去向 Henry 请教，如何借助技术不断创做出新的舞蹈内容？
而 Henry 从一个科学网站的帖子得到了灵感。这个帖子介绍了使用神经网络，可以用根据前一个字母中的笔迹预测下一个字母。
因而，他提出了一种相似算法，可以对给定运动进行预测。经过视频捕获舞者姿式，而后生成接下来最有可能进行的舞蹈动做，并在屏幕上实时显示。
这个算法也一样忽略了人的衣着，只是捕捉演员特定姿式的关键点，从而得出火柴人模型。
当他们录入 McGregor 和他的舞蹈演员的舞蹈视频后，AI 学会了如何跳舞，并且生成的舞蹈风格和 McGregor 的很类似。
虽然在舞蹈创造力上，人工智能仍是有必定的局限性。这款谷歌 AI 工具并不能发明出它从未「见过」的动做。它只是预测在它学过的动做中，最有可能发生的动做。
此外，这个技术还能够提供混合风格的舞蹈编排，好比在 McGregor 的录像中插入巴西桑巴舞的录像，AI 可能会给出一个全新的混合舞。Henry 并不担忧它会给出一个四不像的舞蹈，由于学习的源头仍是由人去输入的。
AI 姿态追踪，不止「舞蹈梦」
看了这么多帮你「跳舞」的技术，是否是已经跃跃欲试了呢？
舞蹈 AI 能让不敢动不想动的人，更自在更轻松地动起来，体验舞蹈和运动的乐趣。但这背后的技术可不只仅只是博人一乐。
支撑起舞蹈 AI 的姿态估计，背后潜藏着巨大的能量，它可以帮助咱们更准确地完成形体动做，好比 3D 健身学习、体育项目姿式矫正，病人康复训练，甚至是虚拟试衣，拍照姿式矫正上，都会带来新的突破。
按照这样的发展，机器会愈来愈了解咱们，愈来愈熟悉咱们的体态特征和行为方式，从而帮咱们更好地认识本身。
好了，先不说了，我要去跟 AI 学跳舞了。你要不要一块儿来？