SCO模型阅读笔记
论文：Learning Semantic Concepts and Order for Image and Sentence Matching
发表会议：CVPR2018
做者：
函数
1、为何看？
好多关于图像-文本检索的文章，可是大多数都忽略了图像的语义顺序，当语义顺序被忽略时，会形成检索不许确，图像和文本的语义彻底相反。
看点：图像的语义顺序如何构建
应用：于跨模态图像-文本检索
学习
2、论文思路
图像语义之间存在差距，特别是像素级图像缺少语义信息。本文提出语义加强图像和句子匹配模型，来经过学习语义概念和用一个正确的顺序语义顺序提升图像表示。
spa
给定一张图像，用多区域多标签CNN预测语义概念，包括对象、属性、动做；
因为区域没有顺序，如何给这些语义概念排序，将全局上下文和语义概念融合；
对应的句子用LSTM生成，而且对融合后的句子进行监督，对比类似度。
对象
疑问？
为何要提取语义概念？
语义概念是图像与句子匹配的基本内容，像素级没法完成；
blog
为何不直接用图像描述？
图像描述和匹配是有区别的，图像匹配重点实在细粒度上找最类似的。图像描述体如今语义上，它不必定可以捕获到图像的细节。
排序
为何不从语义概念上直接学习语义顺序？
不一样的顺序就有不一样的意义，语义上有意义但多是错误的顺序。
图片
3、具体工做
句子表示学习：
一个完整的句子包括名词、动词和形容词，分别对应语义概念中的对象、动做和属性。对于一个句子，语义相关词的概念本质上表现为句子的顺序性。
采用传统的LSTM来捕获语义相关的词和构建语义顺序。
ast
图像的语义概念提取：
目前存在的数据集中，只有图像和匹配的句子。数据集不能提供对象、属性和动做的信息。因此必须用多区域 多标签的CNN进行预测。（被faster R-CNN取代） 预测语义概念等价于多标签分类问题。
class
只挑选句子中的名词、形容词、动词和数字，删除同一语义相关的词，忽略频率低的词。im
图像语义顺序学习
使用图像全局上下文为参考和句子生成为监督。
图像全局上下文
将全局上下文和语义概念所有叠加在一块儿，不可取。由于语义概念和全局是的重要性是不相同的。
生成的句子为监督
损失函数：