最新综述--细粒度图像分析资源

引言

细粒度图像，相对通用图像（general/generic images）的区别和难点在于其图像所属类别的粒度更为精细，也是目前计算机视觉领域比较热门的一个方向，包括了分类、检索以及图片生成方向。

细粒度图像类别的数据集也是愈来愈多，最先的时候，2011年左右的时候，基准的数据集就是花卉、鸟类（CUB200)以及猫狗数据集，而且数据量最多的狗类数据集是 2 万张图片左右，而如今数据集更多，涉及到更多的类别，包括服饰、水果蔬菜、零售商品等等，而且随着深度学习的发展，各类分类模型的提出，对这些数据集的分类准确率也是愈来愈高。

今天推荐的是关于细粒度图像分析资源的网站，做者是旷视的南京研究院负责人魏秀参，网站地址以下

www.weixiushen.com/project/Awe…

这个网站主要是介绍了和细粒度图像分析相关的论文、代码和数据集，论文都是很是新的结果，基本是2017到2019年的结果。

主要介绍的内容以下所示：

分别是9个方面的介绍：

1. 简介
2. 教程
3. 调研论文
4. 基准数据集
5. 细粒度图像识别
6. 细粒度图像检索
7. 细粒度图像生成
8. 将来的发展方向
9. 分类准确率排行榜

---

1. 简介

主要是介绍该网站的内容，也就是展现一些基于深度学习的细粒度图像方面的有表明性的论文、代码和数据集，它们的研究方向包括分类、检索、图片生成等等。

2. 教程

这里推荐了两份教程，都是做者本人作的教程，分别是 2018 版和 2019 版本

1. www.weixiushen.com/tutorial/PR…
2. www.icme2019.org/conf_tutori…

3. 调研论文

一样是两份：

1. Deep Learning for Fine-Grained Image Analysis: A Survey. 2019

论文地址：arxiv.org/abs/1907.03…

2. A Survey on Deep Learning-based Fine-Grained Object Classification and Semantic Segmentation. 2017

论文地址：link.springer.com/article/10.…

4. 基准数据集

这里展现了 11 个数据集，以下图所示，其中 BBox 表示数据集提供物体的边界框信息，Part anno 则是数据集共了关键部位的位置信息，HRCHY 表示有分层次的标签，ATR 表示属性标签（好比翅膀颜色等），Texts 表示提供了图片的文本描述信息。

这里的 11 个数据集基本包含不一样类别的物体，好比鸟类、花朵、服饰、猫狗、水果蔬菜、零售商品等等，其中经常使用的数据集应该就是 CUB200 这个包含 200 个类别的鸟类数据集，不少论文的实验数据集都会包含这个数据集。

5. 细粒度图像识别

这里将细粒度图像识别的方法分为如下三种：

• 基于定位-分类网络(Fine-grained recognition by localization-classification subnetworks)
• 端到端特征编码(Fine-grained recognition by end-to-end feature encoding)
• 采用额外信息（Fine-grained recognition with external information），包括网络数据、多模式数据（文本、音频等）、加入人工操做

这里介绍的前两种方法的论文会更多，给出的论文，最老的是 2014 年的，而后还有最新的 CVPR 2019 的论文，而且对于有开源代码的都提供了代码地址。由于论文太多，就不一一列举了，分别列出最新的一篇论文

基于定位-分类网络

论文：Weakly Supervised Complementary Parts Models for Fine-Grained Image Classification From the Bottom Up. CVPR,2019

论文地址：openaccess.thecvf.com/content_CVP…

端到端特征编码

论文：Destruction and Construction Learning for Fine-grained Image Recognition，CVPR,2019

论文地址：openaccess.thecvf.com/content_CVP…

Github：github.com/JDAI-CV/DCL

采用额外信息，包括网络数据、多模式数据（文本、音频等）、加入人工操做

论文：Learning from Web Data using Adversarial Discriminative Neural Networks for Fine-Grained Classification. AAAI,2019

论文地址：github.com/sxzrt/Learn…

6. 细粒度图像检索

细粒度检索方向分为两个方向

采用预训练模型的无监督方法(Unsupervised with pre-trained models)

论文名称：Selective Convolutional Descriptor Aggregation for Fine-Grained Image Retrieval.2017

论文地址：www.weixiushen.com/project/SCD…

采用度量学习的监督方法(Supervised with metric learning)

1. Centralized Ranking Loss with Weakly Supervised Localization for Fine-Grained Object Retrieval.IJCAI,2018

论文地址：www.ijcai.org/proceedings…

2. Towards Optimal Fine Grained Retrieval via Decorrelated Centralized Loss with Normalize-Scale layer.AAAI,2019

论文地址：mac.xmu.edu.cn/rrji/papers…

7. 细粒度图像生成

一样分为两个方向：

根据细粒度图像分布生成图片(Generating from fine-grained image distributions)

1. CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training. ICCV,2017

论文地址：openaccess.thecvf.com/content_ICC…

Github：github.com/tkazusa/CVA…

2. FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery. CVPR,2019

论文地址：openaccess.thecvf.com/content_CVP…

Github：github.com/kkanshul/fi…

根据文本描述生成图片(Generating from text descriptions)

论文：AttnGAN: Fine-Grained Text to Image Generation with Attentional Generative Adversarial Networks.CVPR,2018

论文地址：openaccess.thecvf.com/content_cvp…

Github：github.com/taoxugit/At…

8. 将来发展的方向

列举了两个可能的方向：

1. 细粒度少样本学习(Fine-grained few shot learning)

论文：Piecewise classifier mappings: Learning fine-grained learners for novel categories with few examples. TIP，2019

论文地址：www.weixiushen.com/publication…

2. 应用到更多真实场景(FGIA within more realistic settings)

下面是给出的三篇论文：

1. Fine-grained Recognition in the Wild: A Multi-Task Domain Adaptation Approach. ICCV,2017

论文地址：ai.stanford.edu/~tgebru/pap…

2. The iNaturalist Species Classification and Detection Dataset. CVPR,2018

论文地址：openaccess.thecvf.com/content_cvp…

3. RPC: A Large-Scale Retail Product Checkout Dataset. 2019

论文地址：arxiv.org/abs/1901.07…

9. 分类准确率排行榜排行榜

这里主要是在数据集 CUB200-2011 数据集上的测试准确率，列举出目前最好的方法和其是否采用标准信息、额外的数据、采用的网络结构、输入图片的大小设置以及分类准确率：

---

这个网站收集了目前细粒度图像分析方面的资料，包括论文、代码和数据集，特别是介绍的最新的一篇综述论文：Deep Learning for Fine-Grained Image Analysis: A Survey.

论文地址：arxiv.org/abs/1907.03…

以及，魏秀参老师在 2017 年知乎上也发表过一篇细粒度图像分析综述，感兴趣的也能够看看：

zhuanlan.zhihu.com/p/24738319

欢迎关注个人微信公众号--算法猿的成长，或者扫描下方的二维码，你们一块儿交流，学习和进步！