论文连接：https://arxiv.org/pdf/1803.01271.pdf网络
TCN（Temporal Convolutional Networks）
TCN特色：spa
- 可实现接收任意长度的输入序列做为输入，同时将其映射为等长的输出序列，这方面比较像RNN。
- 计算是layer-wise的，即每一个时刻被同时计算，而非时序上串行。
- 其卷积网络层层之间是有因果关系的，意味着不会有“漏接”的历史信息或是将来数据的状况发生，即使 LSTM 它有记忆门，也没法完彻底全的记得全部的历史信息，更况且要是该信息无用了就会逐渐被遗忘。
TCN组成： $$TCN = 1D \ FCN + causal convolutions$$ TCN结构图： 
.net
因果卷积（Causal Convolution）
因果卷积能够用上图直观表示。 即对于上一层t时刻的值，只依赖于下一层t时刻及其以前的值。和传统的卷积神经网络的不一样之处在于，因果卷积不能看到将来的数据，它是单向的结构，不是双向的。也就是说只有有了前面的因才有后面的果，是一种严格的时间约束模型，所以被成为因果卷积。orm
###膨胀卷积（Dilated Convolution） 如图TCN结构图(a)。单纯的因果卷积仍是存在传统卷积神经网络的问题，即对时间的建模长度受限于卷积核大小的，若是要想抓去更长的依赖关系，就须要线性的堆叠不少的层。为了解决这个问题，研究人员提出了膨胀卷积。 膨胀卷积（dilated convolution）是经过跳过部分输入来使filter能够应用于大于filter自己长度的区域。等同于经过增长零来从原始filter中生成更大的filter。 The dilated convolution operation F on element s of the sequence is defined as: $$F(s)=(x*df)(s)=\overset{k-1}{\underset{i=0}\sum}f(i) \cdot x{s-d \cdot i}$$ where d is the dilation factor, k is the filter size, and $s-d\cdot i$ accounts for the direction of the past. 越到上层，卷积窗口越大，而卷积窗口中的“空孔”越多。d是扩展系数（即评价“空孔”的多少）。blog
残差连接（Residual Connections）
如图TCN结构图(b)。 残差连接被证实是训练深层网络的有效方法，它使得网络能够以跨层的方式传递信息。本文构建了一个残差块来代替一层的卷积。如上图所示，一个残差块包含两层的卷积和非线性映射，在每层中还加入了WeightNorm和Dropout来正则化网络。为何要1×1卷积呢？1×1卷积是能够用来降维的 。做者直接把较下层的特征图跳层链接到上层，对应的每一个Cell的特征图数量（也就是通道数channel）不一致，致使不能直接作相似Resnet的跳层特征图加和操做，因而，为了两个层加和时特征图数量吻合，用1×1卷积作了一个降维的操做。element
FCN 全卷积网络
引用：get