深度学习模型构想

用作记录一些模型的设计构思。 多任务学习，该模型底层存在三个任务x1，x2，x3。每个任务意义不同，甚至维度，分布都不同。但顶层输出变量y具有相同意义，上层结构是共享的。由于上层共享参数，最终导致低层结构学习的是将每个特定任务转化处通用的特征供上层使用。 举例：语音识别，语种的存在导致不同的发音，但最终学得的是相同语义的特征表示。 多任务学习，在某些类似任务中，某些低层概念是类似的，如边缘、光照变

>>阅读原文<<