【深度学习】CNN模型可视化

时间 2019-11-18

标签深度学习 cnn 模型可视化繁體版

原文原文链接

神经网络自己包含了一系列特征提取器，理想的feature map应该是稀疏的以及包含典型的局部信息。经过模型可视化能有一些直观的认识并帮助咱们调试模型，好比：feature map与原图很接近，说明它没有学到什么特征；或者它几乎是一个纯色的图，说明它太过稀疏，多是咱们feature map数太多了（feature_map数太多也反映了卷积核过小）。可视化有不少种，好比：feature map可视化、权重可视化等等，我以feature map可视化为例。linux

模型可视化web

　　用了keras作实验，如下图做为输入:浏览器

输入图片

feature map可视化

　　取网络的前15层，每层取前3个feature map。网络

从左往右看，能够看到整个特征提取的过程，有的分离背景、有的提取轮廓，有的提取色差，但也能发现十、11层中间两个feature map是纯色的，可能这一层feature map数有点多了，另外汽车的光晕对feature map中光晕的影响也能比较明显看到。app

Hypercolumns

一般咱们把神经网络最后一个fc全链接层做为整个图片的特征表示，可是这一表示可能过于粗糙（从上面的feature map可视化也能看出来），无法精确描述局部空间上的特征，而网络的第一层空间特征又太过精确，缺少语义信息（好比后面的色差、轮廓等），因而论文《Hypercolumns for Object Segmentation and Fine-grained Localization》提出一种新的特征表示方法：Hypercolumns——将一个像素的 hypercolumn 定义为全部 cnn 单元对应该像素位置的激活输出值组成的向量），比较好的tradeoff了前面两个问题，直观地看如图：ide

把汽车第一、四、7层的feature map以及第1, 4, 7, 10, 11, 14, 17层的feature map分别作平均，可视化以下：网站

代码实践google

  1 # -*- coding: utf-8 -*-
  2 from keras.applications import InceptionV3
  3 from keras.applications.inception_v3 import preprocess_input
  4 from keras.preprocessing import image
  5 from keras.models import Model
  6 from keras.applications.imagenet_utils import decode_predictions
  7 import numpy as np
  8 import cv2
  9 from cv2 import *
 10 import matplotlib.pyplot as plt
 11 import scipy as sp
 12 from scipy.misc import toimage
 13 
 14 def test_opencv():
 15     # 加载摄像头
 16     cam = VideoCapture(0)  # 0 -> 摄像头序号，若是有两个三个四个摄像头，要调用哪个数字往上加嘛
 17     # 抓拍 5 张小图片
 18     for x in range(0, 5):
 19         s, img = cam.read()
 20         if s:
 21             imwrite("o-" + str(x) + ".jpg", img)
 22 
 23 def load_original(img_path):
 24     # 把原始图片压缩为 299*299大小
 25     im_original = cv2.resize(cv2.imread(img_path), (299, 299))
 26     im_converted = cv2.cvtColor(im_original, cv2.COLOR_BGR2RGB)
 27     plt.figure(0)
 28     plt.subplot(211)
 29     plt.imshow(im_converted)
 30     return im_original
 31 
 32 def load_fine_tune_googlenet_v3(img):
 33     # 加载fine-tuning googlenet v3模型，并作预测
 34     model = InceptionV3(include_top=True, weights='imagenet')
 35     model.summary()
 36     x = image.img_to_array(img)
 37     x = np.expand_dims(x, axis=0)
 38     x = preprocess_input(x)
 39     preds = model.predict(x)
 40     print('Predicted:', decode_predictions(preds))
 41     plt.subplot(212)
 42     plt.plot(preds.ravel())
 43     plt.show()
 44     return model, x
 45 
 46 def extract_features(ins, layer_id, filters, layer_num):
 47     '''
 48     提取指定模型指定层指定数目的feature map并输出到一幅图上.
 49     :param ins: 模型实例
 50     :param layer_id: 提取指定层特征
 51     :param filters: 每层提取的feature map数
 52     :param layer_num: 一共提取多少层feature map
 53     :return: None
 54     '''
 55     if len(ins) != 2:
 56         print('parameter error:(model, instance)')
 57         return None
 58     model = ins[0]
 59     x = ins[1]
 60     if type(layer_id) == type(1):
 61         model_extractfeatures = Model(input=model.input, output=model.get_layer(index=layer_id).output)
 62     else:
 63         model_extractfeatures = Model(input=model.input, output=model.get_layer(name=layer_id).output)
 64     fc2_features = model_extractfeatures.predict(x)
 65     if filters > len(fc2_features[0][0][0]):
 66         print('layer number error.', len(fc2_features[0][0][0]),',',filters)
 67         return None
 68     for i in range(filters):
 69         plt.subplots_adjust(left=0, right=1, bottom=0, top=1)
 70         plt.subplot(filters, layer_num, layer_id + 1 + i * layer_num)
 71         plt.axis("off")
 72         if i < len(fc2_features[0][0][0]):
 73             plt.imshow(fc2_features[0, :, :, i])
 74 
 75 # 层数、模型、卷积核数
 76 def extract_features_batch(layer_num, model, filters):
 77     '''
 78     批量提取特征
 79     :param layer_num: 层数
 80     :param model: 模型
 81     :param filters: feature map数
 82     :return: None
 83     '''
 84     plt.figure(figsize=(filters, layer_num))
 85     plt.subplot(filters, layer_num, 1)
 86     for i in range(layer_num):
 87         extract_features(model, i, filters, layer_num)
 88     plt.savefig('sample.jpg')
 89     plt.show()
 90 
 91 def extract_features_with_layers(layers_extract):
 92     '''
 93     提取hypercolumn并可视化.
 94     :param layers_extract: 指定层列表
 95     :return: None
 96     '''
 97     hc = extract_hypercolumn(x[0], layers_extract, x[1])
 98     ave = np.average(hc.transpose(1, 2, 0), axis=2)
 99     plt.imshow(ave)
100     plt.show()
101 
102 def extract_hypercolumn(model, layer_indexes, instance):
103     '''
104     提取指定模型指定层的hypercolumn向量
105     :param model: 模型
106     :param layer_indexes: 层id
107     :param instance: 模型
108     :return:
109     '''
110     feature_maps = []
111     for i in layer_indexes:
112         feature_maps.append(Model(input=model.input, output=model.get_layer(index=i).output).predict(instance))
113     hypercolumns = []
114     for convmap in feature_maps:
115         for i in convmap[0][0][0]:
116             upscaled = sp.misc.imresize(convmap[0, :, :, i], size=(299, 299), mode="F", interp='bilinear')
117             hypercolumns.append(upscaled)
118     return np.asarray(hypercolumns)
119 
120 if __name__ == '__main__':
121     img_path = '~/auto1.jpg'
122     img = load_original(img_path)
123     x = load_fine_tune_googlenet_v3(img)
124     extract_features_batch(15, x, 3)
125     extract_features_with_layers([1, 4, 7])
126     extract_features_with_layers([1, 4, 7, 10, 11, 14, 17])

还有一些网站作的关于CNN的可视化作的很是不错，譬如这个网站：http://shixialiu.com/publications/cnnvis/demo/，能够在训练的时候采起不一样的卷积核尺寸和个数对照来看训练的中间过程。spa

Tensorflow的可视化命令行

　　Tensorboard是Tensorflow自带的可视化模块，能够经过Tensorboard直观的查看神经网络的结构，训练的收敛状况等。要想掌握Tensorboard，咱们须要知道一下几点：

支持的数据形式
具体的可视化过程
如何对一个实例使用Tensorboard

　　数据形式

（1）标量Scalars
（2）图片Images
（3）音频Audio
（4）计算图Graph
（5）数据分布Distribution
（6）直方图Histograms
（7）嵌入向量Embeddings

　　可视化过程

（1）创建一个graph。

（2）肯定在graph中的不一样节点设置summary operations。

（3）将(2)中的全部summary operations合并成一个节点，运行合并后的节点。

（4）使用tf.summary.FileWriter将运行后输出的数据都保存到本地磁盘中。

（5）运行整个程序，并在命令行输入运行tensorboard的指令，打开web端可查看可视化的结果

　　使用Tensorborad的实例

　　这里我就不讲的特别详细啦，若是用过Tensorflow的同窗其实很好理解，只须要在平时写的程序后面设置summary，tf.summary.scalar记录标量，tf.summary.histogram记录数据的直方图等等，而后正常训练，最后把全部的summary合并成一个节点，存放到一个地址下面，在linux界面输入一下代码：

tensorboard --logdir=‘存放的总summary节点的地址’

而后会出现如下信息：

1 Starting TensorBoard 41 on port 6006 2 (You can navigate to http://127.0.1.1:6006)

将http://127.0.1.1:6006在浏览器中打开，就能够看到web端的可视化了