基于图像信息的搭配商品推荐

《Learning Visual Clothing Style with Heterogeneous Dyadic Co-occurrences》论文阅读

Introduction

在推荐场景中，类似商品的i2i推荐一直是重要的基础数据，但只是推荐类似商品仍是不够的，用户除了对类似商品的需求外还有对跨类目的搭配商品的需求。这篇文章介绍的就是基于商品图像的搭配推荐。

本文的主要思想是经过学习一个feature transformation将商品的图像信息映射到latent space上，这个latent space就是用于表达搭配特性的。这个latent space即style space，即本文的一个重要前提假设是将计算商品的搭配特性转化为计算商品的style信息，具备相同或类似style的商品是相互搭配的。在这个style space上，搭配的商品即便不属于同一个类目，距离也很接近。

1. feature transformation是使用的Siamese Convolutional Neural Network，training sample是搭配和不搭配的商品pair对。

2. 对搭配特性建模的方式是使用了商品的co-occurrence信息，尤为是co-purchase信息。即本文的另一个重要假设：若是两个商品被用户同时购买（或者被同一个用户购买）的频率较高则说明他们搭配。即商品的共现信息决定了其在latent space上的分布状况。这是模型训练和评估时的主要思想。但这样作的主要问题在于数据的稀疏性和噪音。

3. 为了进行跨类目的搭配建模，sample时候的正样本pair对采样的是属于不一样high-level categories的商品。

 

Framework

1. input data包括商品的图像、类目、co-occurrence信息。

2. 从input data中采样正样本，即不一样类目下co-occurrence高的商品pair。

3. 使用Siamese CNN去学习一个feature transformation将商品的图像信息映射到latent space上。

4. 在预测时将商品图像transform到latent space上，找到nearest neighbors。

 

Related work

主要有两方面：

1. CNN：Learning visual similarity for product design with convolutional neural networks

2. Learning clothing style：Image-based Recommendations on Styles and Substitutes

 

Dataset

使用用户的行为数据，包括商品的图像、类目、co-occurrence信息。

只使用了“衣服、鞋子、首饰”这三大类的商品。

对商品的类目信息，选择high-level的，优势一是high-level category是独立于style的，即避免类目划分过细时某些小类目跟style强相关对样本选择状况有影响；二是这样避免商品的类目变换较频繁。最后须要看一下类目的分布状况。

 

Generating the training set

1. training、validation、test data中的商品类目比例要成正比。

2. negative sample随机采样，正负样本比例1：16。

3. training data中的不一样类目的商品数不能差距太大。

4. strategy：CNN倾向于将图像类似的商品映射到相近的向量空间上，为了不这个问题，强制使用不一样high-level类目下的商品pair做为正样本，这样可以使得不一样类目图像不类似但style类似的商品closer；负样本须要包含类目相同或不相同的pair，使得可以区分出那些类目相同图像类似但不属于类似style的商品。

 

Training the Siamese network

 

Generating outfits

在进行预测时，为了不label noise，本文使用了一个robust nearest neighbor lookup method。

 

即对于每一个category，都聚类成若干个cluster，算最邻近时，先找最邻近的cluster center，再在这个cluster中找最邻近商品。

 

最后，下图是一些style类似和不类似的例子。