点击上方“视学算法”，选择加"星标"或“置顶”算法
重磅干货，第一时间送达
数据库
鱼羊 萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI
哈利波特世界里，能让报纸上的照片动起来的魔法，如今麻瓜们已经掌握得愈来愈熟练了。安全
看，16岁的图灵正穿越时空朝你眨眼、微笑，神态十分天然。微信
本来在老照片中沉默的美人，当年眼波流转、巧笑倩兮的模样，也从新清晰呈现。app
而这样的全家福，是否唤醒了一段有关过往的回忆？svg
这就是这个周末国外社交媒体上最火的AI应用，呈如今人们眼前的“魔法”。函数
连李开复本人都忍不住玩了一把……工具
无需掌握什么技术，只要在MyHeritage这个网站上上传一张老照片，10-20秒以后，AI就会自动帮你赋予照片“生命”。flex
甚至是雕塑也同样OK：网站
△图源：twitter@FlintDibble
如此天然的效果，让很多网友感叹：这很是哈利波特。
任何足够先进的技术都没法与魔法区分开来。
神奇的是，这是一个在线家谱网站…
因此，这个当红炸子鸡MyHeritage是什么来头，咋就忽然掀起热潮了？
当你点进这个网站，你会发现它的本职实际上是一个在线家谱平台……
真的能帮你方便整理家谱的那一种……你能够在其中填写每个家庭成员的信息、上传照片。
△是的还有官方中文
其背后的公司2003年创办于以色列。截至2020年，该网站已支持42种语言，在全球拥有超过5000万用户，并已为用户构建了约5200万个家谱……
虽然创始人Gilad Japhet是在一个家庭农场里搞出了这么一家公司，但扒一扒他们过往的发展历程，会发现MyHeritage还真是前沿技术弄潮儿。
好比2006年，MyHeritage就推出了人脸识别功能，这个功能能够帮用户从照片数据库中识别人脸特征，将个体联系在一块儿。
2016年，MyHeritage还推出了一项基因检测服务，号称能帮你发现你的种族起源，并寻找到新的亲戚……目前售价59美圆。
据《国家地理杂志》报道，2018年，MyHeritage提供了5000份这样的DNA检测工具包，帮助在美墨边境散失的移民家庭团聚。
而公开资料显示，到2019年为止，MyHeritage成为了全球第三大DNA检测公司。
嗯，从制做家谱，到DNA检测，再到用AI“复活”老照片，这个技术发展路径还真挺合理呢！（手动狗头）
不只变高清，还能动起来
咳咳，梳（ba）理（gua）完了，咱们仍是照例说回到技术自己。
虽然MyHeritage没有详细说明这一火爆应用背后的技术细节，但大体上，让老照片动起来的效果，须要两步来完成。
先是用超分辨率，让照片变得更高清：
而后再用动做迁移，将另外一个视频中的人物动做，“迁移”给照片中的人物。
首先，是超分辨率技术，也就是经过降噪、增长分辨率等方法，来增长照片的清晰度。
这里，就须要GAN来发挥做用了，对这种模型进行训练后，再采用其中的生成器，来对低频图像进行重建。
总体而言，GAN可以解决MSE损失函数缺乏高频信息的问题，从而补全图像中有关高频细节的内容。
△深度生成算法ILO
利用这种方法重建的图像，能构造出很是细节的人脸图像，甚至连马赛克人脸都能还原：
不过，这种方法也有一些问题，那就是在还原图像的过程当中，模型会更注重图像风格的类似、而非像素的类似（即感知类似）。
因此即便人物逼真，在细节上也可能会出现像这样与原图不一致的状况：
△深度生成算法ILO
固然，将图片变得清晰后，还须要利用动做迁移，让照片动起来。
这项技术能实时提取一段视频中的任务关键点，并将这些关键点和照片中的人脸关键点对应起来。
利用一项名为“骨架”（skeleton）的技术，模型将视频人物的关键点提取出来，并给照片中的人物也标记上对应的关键点。
△动做迁移算法TransMoMo
而后，再一帧帧将视频人物的动做“迁移”到图片中去。
经过这种方法，哪怕只有一张照片，也能让里面的人物跟着“开口说话”：
确实接近于“魔法”了。
有人感动，也有人担忧
除了对“魔法”效果的惊叹，这样的技术，也实实在在带来了感动。
在reddit热度高达2.9k的火爆讨论之中，就有网友写下了本身的真实感觉：
我试了试我父亲的老照片，效果令我哽咽。他在我几个月大时就去世了，这是我第一次看见他动起来，眨眼、微笑……
也有网友提出，这要是搭配上AR放到博物馆里，让照片里的人亲自给你讲述他们的人生故事，那真的简直了。
不过，也有很多网友表示，担忧这样的技术被滥用，好比拍摄某些小电影……
而虽然MyHeritage强调他们不会向任何第三方提供用户上传的照片，而且未被彻底注册的照片会被自动删除，但网友仍然对数据泄露表示担心。
毕竟MyHeritage原本也有过翻车历史……
2018年6月，MyHeritage被发现一个安全漏洞，泄露了超过9200万名用户的数据。
这些数据，包括用户的Email地址和密码。
虽然MyHeritage声称，用户家谱、DNA图谱和信用卡等信息存储在另外一个系统，未被泄露，且在漏洞发现当天就对用户进行了双重身份验证。
但2019年12月，这些泄露的信息却出如今了各类非法网站上，正被出售（并且出售的信息不止Email地址和密码）。
参考连接：
[1] 网站地址：https://www.myheritage.cn/deep-nostalgia/result/866401141-500002
[2] https://www.theverge.com/2021/2/28/22306097/ai-brings-still-photos-life-meme-twitter-geneaology-myheritage
[3] https://arxiv.org/abs/2102.07364
[4] https://arxiv.org/abs/2003.14401
— 完 —
本文系网易新闻•网易号特点内容激励计划签约帐号【量子位】原创内容，未经帐号受权，禁止随意转载。
点个在看 paper不断！
本文分享自微信公众号 - 视学算法（visualAlgorithm）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。