Two-stream双流总结

一、2014.Two-stream convolutional networks for action recognition in videos

 两个流:空间流作single frame,时间流作multi-frame对稠密光流作CNN处理。两个流分别通过softmax后作class score fusion,(平均法 or SVM)。网络

 

二、2015.Towards Good Practices for Very Deep Two-Stream ConvNets

空间流3 channel,时间流10 channel。ide

trick:优化

1.空间流在ImageNet上预训练,时间流中的光流转换为0-255灰度图在ImageNet上预训练。spa

2.learning rate:时间流5e-3,1W个Iteration*0.1,3W次中止。空间流1e-3,4K个Iteration*0.1,1W次中止。视频

3.data argmentation:因为数据集太小的缘由,采用裁剪增长数据集,4个角和1个中心,还有各类尺度的裁剪。从{26,224,192,168}中选择尺度与纵横比进行裁剪。blog

4.high dropout rate图片

5.多GPU训练源码

有PyTorch源码it

三、16年Temporal Segment Networks Towards Good Practices for Deep Action Recognition

和上一篇是同一批做者,应该是把上一篇的内容丰富了一些,但尚未具体去看。上一篇5页,这一篇17页,后面再说吧。io

提出两点贡献:

  • 提出一个temporal segment network(TSN)网络,基于视频的动做识别网络,结合了稀疏时间采样策略,和大规模时间结构建模。(将视频分红K个序列,随机抽取一个,网络在全部的序列上共享参数)

  • 一系列优化的策略,估计跟上一篇差不太多。

这里写图片描述

四、16年Convolutional Two-Stream Network Fusion for Video Action Recognition

此论文有公开源代码,用的是MATLAB。

五、17年Hidden Two-Stream Convolutional Networks for Action Recognition

此论文有公开源代码,用的是Caffe。

六、16年利用CNN生成光流图像FlowNet 2.0 Evolution of Optical Flow Estimation with Deep Networks

相关文章
相关标签/搜索