包含从头开始构建Autoencoders模型的完整代码。
(关注“我爱计算机视觉”公众号，一个有价值有深度的公众号~)
在本教程中，咱们一块儿来探索一个非监督学习神经网络——Autoencoders（自动编码器）。
自动编码器是用于在输出层再现输入数据的深度神经网络，因此输出层中的神经元的数量与输入层中的神经元的数量彻底相同。
以下图所示：
该图像展现了典型的深度自动编码器的结构。自动编码器网络结构的目标是在输出层建立输入的表示，使得二者尽量接近（类似）。 可是，自动编码器的实际使用是用来获得具备最低数据丢失量的输入数据的压缩版本。 在机器学习项目中的做用相似于主成分分析（ Principle Component Analysis，PCA），PCA的做用是在有大量属性的数据集上训练模型时找到最佳和最相关属性。python
自动编码器以相似的方式工做。 其编码器部分将输入数据压缩，确保重要数据不会丢失，但数据的总体大小会显著减少。 这个概念称为降维（ Dimensionality Reduction）。
降维的缺点是，压缩数据是一个黑盒子，即咱们没法肯定其压缩后数据中的数据结构的具体含义。 好比，假设咱们有一个包含5个参数的数据集，咱们在这些数据上训练一个自动编码器。 编码器不会为了得到更好的表示而省略某些参数，它会将参数融合在一块儿（压缩后的变量时综合变量）以建立压缩版本，使得参数更少（好比从5个压缩到3个）。
自动编码器有两个部分，即编码器和解码器。git
编码器压缩输入数据，而解码器则基于压缩表示的数据反过来恢复数据的未压缩版本，以尽量准确地建立输入的重建。github
咱们将使用Tensorflow的layers API建立自动编码器神经网络，并在mnist数据集上对其进行测试。微信
首先，咱们导入相关的Python库,并读入mnist数据集。 若是数据集存在于本地计算机上，那么它将自动读取，不然将经过运行如下命令自动下载。网络
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data
from tensorflow.contrib.layers import fully_connected
mnist=input_data.read_data_sets("/MNIST_data/",one_hot=True)
接下来，咱们为方便起见建立一些常量，并事先声明咱们的激活函数。 mnist数据集中的图像大小为28×28像素，即784像素，咱们将其压缩为196像素。 固然你也能够更进一步缩小像素大小。 可是，压缩太多可能会致使自动编码器丢失信息。session
num_inputs=784 #28x28 pixels
num_hid1=392
num_hid2=196
num_hid3=num_hid1
num_output=num_inputs
lr=0.01
actf=tf.nn.relu
如今，咱们为每一层的weights 和 biases建立变量。 而后，咱们使用先前声明的激活函数建立layer。数据结构
X=tf.placeholder(tf.float32,shape=[None,num_inputs])
initializer=tf.variance_scaling_initializer()
w1=tf.Variable(initializer([num_inputs,num_hid1]),dtype=tf.float32)
w2=tf.Variable(initializer([num_hid1,num_hid2]),dtype=tf.float32)
w3=tf.Variable(initializer([num_hid2,num_hid3]),dtype=tf.float32)
w4=tf.Variable(initializer([num_hid3,num_output]),dtype=tf.float32)
b1=tf.Variable(tf.zeros(num_hid1))
b2=tf.Variable(tf.zeros(num_hid2))
b3=tf.Variable(tf.zeros(num_hid3))
b4=tf.Variable(tf.zeros(num_output))
hid_layer1=actf(tf.matmul(X,w1)+b1)
hid_layer2=actf(tf.matmul(hid_layer1,w2)+b2)
hid_layer3=actf(tf.matmul(hid_layer2,w3)+b3)
output_layer=actf(tf.matmul(hid_layer3,w4)+b4)
在通常状况下，TensorFlow的工程一般不使用tf.variance_scaling_initializer（）。 可是，咱们在这里使用它是由于咱们正在处理不断变化大小的输入。 所以，placeholder张量形状（placeholder用于输入批处理）根据输入大小的形状调整自身，从而防止咱们遇到任何维度错误。 经过简单地将先前带有相关weights 和 biases 的隐藏层做为输入输送到激活函数（ReLu）中来建立后面的隐藏层。机器学习
咱们将使用RMSE损失函数用于此神经网络并将其传递给Adam优化器。你也能够替换这些来得到更多结果。函数
loss=tf.reduce_mean(tf.square(output_layer-X)) optimizer=tf.train.AdamOptimizer(lr) train=optimizer.minimize(loss) init=tf.global_variables_initializer()
如今，咱们定义epochs和batch size并运行session。 咱们使用mnist类的mnist.train.next_batch（）来获取每一个新的batch。 此外，咱们将在每一个epoch以后输出训练loss以监控其训练。工具
num_epoch=5
batch_size=150
num_test_images=10
with tf.Session() as sess:
sess.run(init)
for epoch in range(num_epoch):
num_batches=mnist.train.num_examples//batch_size for iteration in range(num_batches):
X_batch,y_batch=mnist.train.next_batch(batch_size)
sess.run(train,feed_dict={X:X_batch})
train_loss=loss.eval(feed_dict={X:X_batch})
print("epoch {} loss {}".format(epoch,train_loss))
最后，咱们将编写一个小的绘图函数来绘制原始图像和重建图，以查看咱们训练获得的模型的工做状况。
results=output_layer.eval(feed_dict={X:mnist.test.images[:num_test_images]})
#Comparing original images with reconstructions
f,a=plt.subplots(2,10,figsize=(20,4))
for i in range(num_test_images):
a[0][i].imshow(np.reshape(mnist.test.images[i],(28,28)))
a[1][i].imshow(np.reshape(results[i],(28,28)))
在这里，咱们能够看到重建并不完美，但很是接近原始图像。 注意上图中，2的重建看起来像是3，这是因为压缩时信息丢失形成的。
咱们能够经过超参数调整来改进自动编码器模型，而且还能够经过在GPU上运行训练来提升速度。
获取完整代码，请访问：
https://github.com/Tathagatd96/Deep-Autoencoder-using-Tensorflow
原文连接：
https://towardsdatascience.com/deep-autoencoders-using-tensorflow-c68f075fd1a3
点击阅读原文能够在www.52cv.net查看本文。
欢迎转发，让更多人看到。
更多精彩推荐：
本文分享自微信公众号 - 我爱计算机视觉（aicvml）。
若有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一块儿分享。