多模态融合算法——Multimodal Compact Bilinear Pooling

【摘要】 很多多模态任务,都需要融合两个模态的特征。特征融合即输入两个模态的特征向量,输出融合后的向量。最常用的方法是拼接(concatenation)、按位乘(element-wise product)、按位加(element-wise sum)。MCB的作者认为这些简单的操作效果不如外积(outer product),不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。 Multi
相关文章
相关标签/搜索