PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning --- 论文笔记

PredNet --- Deep Predictive coding networks for video prediction and unsupervised learning   ICLR 2017 

2017.03.12 

 

Code and video examples can be found at: https://coxlab.github.io/prednet/

 

摘要：基于监督训练的深度学习技术取得了很是大的成功，可是无监督问题仍然是一个未能解决的一大难题（从未标注的数据中学习到一个领域的结构）。本文探索了无监督学习中关于 video prediction 的问题。设计了一种 “PredNet”结构，实现了该项工程，而且获得了很是喜人的实验结果。实验结果代表：预测表明了一种很是强大的无监督学习框架，能够潜在的学习到物体或者场景结构。 

 

网络设计：

　　

　　如上图所示的流程，是有一系列的模块堆叠在一块儿产生的。该网络首先进行局部预测，而后减去真实的输入，传到下一层。

　　简单的说，每一个模块能够分为 4 个部分：

　　1. 一个输入卷积层 $A_l$ 

　　2. 循环表示层 $R_l$

　　3. 预测层 $\hat{A}_l $

　　4. 偏差表示层 $E_l$

 

　　 $R_l$ 是一个循环卷积网络产生一个预测 A^l，layer的输入是 Al。网络计算 Al 和 A^l 的不一样，而后输出一个偏差表示 El, 分为单独修正的 positive 和 negative error 传递。将该偏差 El 传递给卷积层，做为下一层的输入 $A_{l+1}$。$R_l$ 模块有两个输入，分别来自于：直接拷贝过来的 El，以及 下一层 $R_{l+1}$ 的输入。

　　这个网络能够分为两个最重要的部分来看，左边 Rl 部分是循环产生式反卷积网络；右边 Al 和 El 是标准的深度卷积网络。

 

 

　　该模型训练的目标是：minimize the weighted sum of the firing rates of the error units. 此处的 error units 相似于 L1 error. 虽然此处没有尝试，但也能够尝试其余的 loss function。

　　

 

 

　　总的算法框架以下：

　　

　　

---

　　实验部分：