场景描述:对不少人来讲,服装穿搭是一项高难度技巧。不管上班、出席会议,仍是约会、休假出游,你们都会被「该穿什么」难倒在衣柜前。Facebook 最新推出 AI 时尚造型师 Fashion ++,帮你在没必要买买买的状况下,充分利用现有服装,穿出更时尚的效果,秒变时尚达人。web
早晨起来,洗漱完毕,化上美美的妆,而后在电脑屏幕上点击「向左」、「向右」键,看着画面上的服装来回切换组合,挑中一套中意的搭配,点击「Dress Me」(试穿),屏幕上就会显示虚拟人像穿上所选服装的效果。今日出门的行头就这样轻松搞定了。算法
这是电影《独领风骚》(《Clueless》)中的一个片断,时尚的女主 Cher Horowitz,拥有一个虚拟造型师,经过这个虚拟造型师,她能够预览本身的衣服搭配效果,并挑选一套本身最喜欢的穿搭方案。网络
现在,电影里的黑科技场景,已经被 AI 技术变为现实,并且还有所超越。框架
Facebook 最新推出的个性化服装穿搭推荐模型 Fashion ++,能经过算法,对现有服装进行巧妙的穿搭调整,让其显得更加 fashionable,即便是穿搭小白,也能够瞬间变身时尚达人。 less
天天最令都市男女纠结的问题不止是「今天该吃什么?」,还有「今天该穿什么?」学习
每次出门前,都把衣柜里的衣服各类排列组合,却仍是不知道哪套搭配最好看、最合适。因而广大女性朋友得出一个结论:「女人的衣柜里,永远缺一件衣服」。优化
最近眼看着国庆长假在即,要去游山玩水拍各类美照的你,是否是又以为衣柜里缺衣服了?事实上,你缺的也许并非衣服,而是一个穿搭指导。其实,一样的一件衣服,会由于不一样的穿着方式,好比多一条丝巾或者卷起袖子,就产生大大不一样的效果。网站
虽然现在坐拥大批粉丝的各大时尚博主能为穿搭手残党解忧,但他们每每最终导向仍是「买买买」。编码
Facebook 近期推出的时尚穿搭推荐模型 Fashion++,则并不鼓励剁手,它会充分利用用户现有服装,经过改变穿着方式(好比卷起衣袖,或塞进裤腰等),对搭配进行调整,从而获得用户最喜欢的造型。spa
Fashion ++ 模型由一个深度图像生成神经网络构成,该神经网络以对每件衣服的编码为条件识别并学习合成服装。编码根据衣服形状和纹理显式分解,从而容许分别对合身程度和颜色/图案/材料进行直接编辑。
最终实验代表,Fashion ++ 根据自动化指标和人们的意见,提供了成功的穿搭建议,并且这些建议很容易实施。好比:换一件新衣服;调整颜色、穿着方式(好比卷起袖子)或尺寸(好比,让裤子更宽松一些)。
法国先锋时装设计师可可·香奈儿有句名言:「Before you leave the house, look in the mirror and take one thing off.」这句话对时尚界产生了深远影响。其言下之意是,不管是取下一件配饰,或是摘掉帽子等,细微的调整均可以使现有服装更加时尚。
正是该理念给了 Fashion ++ 团队灵感,他们所以引入了新的计算机视觉挑战:但愿经过算法对服装/配饰进行微调,而改善总体时尚性。
该项目具体内容包括:服装生成框架,从网络图片中学习判断时尚性,编辑服装搭配并输出结果。
Fashion ++ 服装生成框架
初始服装 x 的文本特征 t 与形状特征 s,通过初步编辑,再由编辑模块 F++ 编辑后生成新的文本特征与形状特征 t++ 与 s++。
以后,生成器 Gs 将新特征反馈至 2D 语义分割模型,最终由生成器 Gt 生成编辑后的新服装搭配效果 x++。
Fashion ++ 时尚性分类器
团队将给定的整套服装的组成部分(如包、上衣、靴子),映射到它们各自的代码。而后,使用一个有辨别力的时尚性分类器,该分类器在被公认为时尚服装的 12744 张公开图像上进行了训练。
而且,团队还经过将时尚示例上的服装,与最不类似的服装交换,来引导反面示例。在训练时尚性分类器时,团队考虑到,也许理想的训练集应该由这样两组图片组成:每组图片中都是同一我的,穿着略有不一样的服装,其中一组被公认比另外一组更时尚。然而,他们认为这样的数据集不只不适合大规模策划,并且会随流行元素演变而过期。
另外一种设想的方法是,未来自特定群体(如名人)的一组图像视为正面的范例,而将另外一组图像视为负面的(如平常行人)。可是,他们发现这样的数据集会致使身份和风格的混淆,所以分类器会发现这两组之间与时尚无关的一些属性的区别。
所以,他们提出从时尚服装的网络图片中,自动选出不那么时尚的照片。其主要理念是从时尚达人的照片中创造出「不时尚」的服装,以训练模型辨别能力。
他们从 Chictopia (在线时尚社交网站)上面的一张全身服装照片开始,选择其中一件进行修改,而后用另外一件不一样的衣服替换它。为了增长替换衣服下降时尚感的可能性,他们从一套与原衣服最不类似的衣服中提取了一件。
利用这些数据,团队训练出了一个 3 层的多层感知器(MLP)时尚分类器。经过训练这些分解(到服装)和形状和纹理编码的时尚分类器,一个简单的 MLP 能够有效地捕捉微妙的视觉特性和复杂的服装协同做用。
编辑搭配并输出结果
训练好分类器后,系统会逐渐更新服装,以使其更时尚。团队利用 15930 张图片训练了生成器。
该生成器由图像生成神经网络,使用变体自动编码器生成轮廓,并使用条件生成对抗网络(cGAN)生成颜色和图案,从而呈现新调整的外观。
为了同时考虑到衣服的图案/颜色和形状/合身程度,他们将每件衣服的编码分解为纹理和形状组件,容许编辑模块控制在哪里和改变什么 (例如,在保持样式的同时,调整衬衫的颜色,或者,改变领口或把它塞进裤腰)。
在优化编辑后,模型以两种格式提供其输出,第一种是从库存中检索最能实现其建议的服装,第二种则是根据修改过的服装编码,绘制出同一我的在调整过的外观中的效果图。
团队使用 Chictopia 的时尚图片数据集验证了其方法,并经过自动化度量和用户研究,证实它能够成功地生成最少的服装编辑,并且优于基准线。
Facebook 相信,Fashion ++ 将经过调整现有服装而不是剁手花更多的钱,来帮助人们使用一个应用程序学会时尚穿搭。
人们自古都追求时尚,怎样穿得更美是永恒不朽的话题。正因如此,咱们才看到国内外从古至今服装样式的不断更迭。
有人认为,时尚是艺术,有人认为时尚是快乐,不管怎样,时尚都是美的一种象征。每一个人都但愿变得时尚,甚至引领时尚。
现代,打扮得时尚已经不只仅是出于「女为悦己者容」的目的,更是为了自个人表达。
因此,已经作好黄金周出行规划的你,是否还在纠结该不应带这条丝巾?这条裙子和这个衬衫搭不搭?怎样穿才能不淹没在人从众中?
有了 Fashion ++ 这个免费我的服装造型师,这些问题应该都不是事儿了。赶快拥抱科技,拥抱 AI,说不定,下一个时尚博主就是你。
—— 完 ——