标签:机器学习
在上海呆了一年了,从啥都不会 到 啥都不会,还是要回归博客,做做小结整理整理……
多视角学习是老板的拿手好戏,最近布置的任务也和多视角相关。经过老板的一番吐槽,在找论文时候要注意其上过哪些会议,比较好的会议上论文的质量较高。经过多方求助,入门可以从最精(xuan)华(xue)的综述开始看起。
- Xu C, Tao D, Xu C. A Survey on Multi-view Learning[J]. Computer Science, 2013.
- Sun S. A survey of multi-view machine learning[J]. Neural Computing & Applications, 2013, 23(7-8):2031-2038.
Multi-view learning: introduces one function to model a particular view and jointly optimizes all the functions to exploit the redundant views of the same input data and improve the learning performance.
引入了一个函数去模型化一个特定的视角,并且利用相同输入的冗余视角去联合优化所有函数,最终提高学习效果。
(1) multiple sources (2) different feature subsets;
(1) 多个源:比如人物识别可以用脸、指纹等作为不同源的输入。
(2) 多个特征子集:比如图像表示可以用颜色、文字等作为不同特征表述。
为了确保 redundant views 可以被有效充分地利用,建立以下 Principles:
先建立单视角,再构建多视角。总结为三类
评价各个视角,确保其效用。在三个类型的学习算法中,分别提出了多种评价标准。
In co-training
低维的特征难以描述高维特征,如直方图信息对应了多个图像。
Yan and Naphade (2005):在 co-training 的学习中,如果 unlabelled data 噪音太大,就将 classifiers 的组合权重置零。
Christoudias et al. (2008) :提出了条件视角熵
Yu et al. (2011):将概率统计的方法用到了 co-training 上结合起来,即 Bayesian co-training
In MKL
当 kernel 之间不相关或有噪音时,优化 kernel weights,Christoudias 利用了 GP 来学习每个视角的 weights。Liu and Yuen (2011) 提出了 inter-view confidence of X ,
,以及视角的 sufficiency。
In subspace learning
CCA 可以用来形容两个视角的线性关系,KCCA( kernel canonical correlation analysis )形容两个视角的非线性相关映射。两者都用到了相关系数
并使之最大。
容易想到,直接将多个视角拼接成单个视角,再进行单视角学习方法。但在训练样本中容易过拟合,且拼接以后的数据没有物理意义。因此可以求助于其他组合多视角的办法。
In co-training
在无监督学习中,将一个视角的在 验证集 上的结果放入另一个视角的 训练集 中,不同视角在 迭代 过程中达到最优。
在监督学习中,Yu et al. (2011) 提出 latent function 作为 隐式的验证集 来连接多视角。
其组合的时机在训练后,因此是 a late combination of multiple views.
In MKL
use a set and allow an algorithm to choose suitable kernels and the kernel combination.
kernel 组合可以选择 线性组合方法 或者 非线性组合方法。
由于是在训练之前或中途进行组合,因此是 an intermediate combination of multiple views.
In subspace learning
认为多视角来源于同一个潜空间, Canonical correlation analysis (CCA) can be viewed as the multi-view version of principal component analysis (PCA) ,CCA被认为是多视角的PCA方法,避免了“维维度灾难”但因为产生子空间是线性的,因此不能直接应用于非线性模型。
由于多视角利用共享空间直接结合在一起, 因此是 the prior combination of multiple views.
后面几天再详细描述一下三种类型的多视图学习算法。