tensorflow实现基于LSTM的文本分类方法

引言

学习一段时间的tensor flow以后，想找个项目试试手，而后想起了以前在看Theano教程中的一个文本分类的实例，这个星期就用tensorflow实现了一下，感受和以前使用的theano仍是有很大的区别，有必要总结mark一下git

模型说明

这个分类的模型其实也是很简单，主要就是一个单层的LSTM模型，固然也能够实现多层的模型，多层的模型使用Tensorflow尤为简单，下面是这个模型的图

简单解释一下这个图，每一个word通过embedding以后，进入LSTM层，这里LSTM是标准的LSTM，而后通过一个时间序列获得的t个隐藏LSTM神经单元的向量，这些向量通过mean pooling层以后，能够获得一个向量h，而后紧接着是一个简单的逻辑斯蒂回归层（或者一个softmax层）获得一个类别分布向量。
公式就不一一介绍了，由于这个实验是使用了Tensorflow重现了Theano的实现，所以具体的公式能够参看LSTM Networks for Sentiment Analysis这个连接。github

tensorflow实现

鄙人接触tensor flow的时间不长，也是在慢慢摸索，可是由于有以前使用Theano的经验，对于符号化编程也不算陌生，所以上手Tensorflow倒也容易。可是感受tensorflow仍是和theano有着不少不同的地方，这里也会说起一下。
代码的模型的主要以下：编程

import tensorflow as tf
import numpy as np

class RNN_Model(object):



    def __init__(self,config,is_training=True):

        self.keep_prob=config.keep_prob self.batch_size=tf.Variable(0,dtype=tf.int32,trainable=False) num_step=config.num_step self.input_data=tf.placeholder(tf.int32,[None,num_step]) self.target = tf.placeholder(tf.int64,[None]) self.mask_x = tf.placeholder(tf.float32,[num_step,None]) class_num=config.class_num hidden_neural_size=config.hidden_neural_size vocabulary_size=config.vocabulary_size embed_dim=config.embed_dim hidden_layer_num=config.hidden_layer_num self.new_batch_size = tf.placeholder(tf.int32,shape=[],name="new_batch_size") self._batch_size_update = tf.assign(self.batch_size,self.new_batch_size) #build LSTM network lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hidden_neural_size,forget_bias=0.0,state_is_tuple=True) if self.keep_prob<1: lstm_cell = tf.nn.rnn_cell.DropoutWrapper( lstm_cell,output_keep_prob=self.keep_prob ) cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell]*hidden_layer_num,state_is_tuple=True) self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32) #embedding layer with tf.device("/cpu:0"),tf.name_scope("embedding_layer"): embedding = tf.get_variable("embedding",[vocabulary_size,embed_dim],dtype=tf.float32) inputs=tf.nn.embedding_lookup(embedding,self.input_data) if self.keep_prob<1: inputs = tf.nn.dropout(inputs,self.keep_prob) out_put=[] state=self._initial_state with tf.variable_scope("LSTM_layer"): for time_step in range(num_step): if time_step>0: tf.get_variable_scope().reuse_variables() (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output) out_put=out_put*self.mask_x[:,:,None] with tf.name_scope("mean_pooling_layer"): out_put=tf.reduce_sum(out_put,0)/(tf.reduce_sum(self.mask_x,0)[:,None]) with tf.name_scope("Softmax_layer_and_output"): softmax_w = tf.get_variable("softmax_w",[hidden_neural_size,class_num],dtype=tf.float32) softmax_b = tf.get_variable("softmax_b",[class_num],dtype=tf.float32) self.logits = tf.matmul(out_put,softmax_w)+softmax_b with tf.name_scope("loss"): self.loss = tf.nn.sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target) self.cost = tf.reduce_mean(self.loss) with tf.name_scope("accuracy"): self.prediction = tf.argmax(self.logits,1) correct_prediction = tf.equal(self.prediction,self.target) self.correct_num=tf.reduce_sum(tf.cast(correct_prediction,tf.float32)) self.accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32),name="accuracy") #add summary loss_summary = tf.scalar_summary("loss",self.cost) #add summary accuracy_summary=tf.scalar_summary("accuracy_summary",self.accuracy) if not is_training: return self.globle_step = tf.Variable(0,name="globle_step",trainable=False) self.lr = tf.Variable(0.0,trainable=False) tvars = tf.trainable_variables() grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars), config.max_grad_norm) # Keep track of gradient values and sparsity (optional) grad_summaries = [] for g, v in zip(grads, tvars): if g is not None: grad_hist_summary = tf.histogram_summary("{}/grad/hist".format(v.name), g) sparsity_summary = tf.scalar_summary("{}/grad/sparsity".format(v.name), tf.nn.zero_fraction(g)) grad_summaries.append(grad_hist_summary) grad_summaries.append(sparsity_summary) self.grad_summaries_merged = tf.merge_summary(grad_summaries) self.summary =tf.merge_summary([loss_summary,accuracy_summary,self.grad_summaries_merged]) optimizer = tf.train.GradientDescentOptimizer(self.lr) optimizer.apply_gradients(zip(grads, tvars)) self.train_op=optimizer.apply_gradients(zip(grads, tvars)) self.new_lr = tf.placeholder(tf.float32,shape=[],name="new_learning_rate") self._lr_update = tf.assign(self.lr,self.new_lr) def assign_new_lr(self,session,lr_value): session.run(self._lr_update,feed_dict={self.new_lr:lr_value}) def assign_new_batch_size(self,session,batch_size_value): session.run(self._batch_size_update,feed_dict={self.new_batch_size:batch_size_value})

模型不复杂，也就不一一解释了，在debug的时候，仍是入了几个tensorflow的坑，所以想单独说一下这几个坑。网络

坑1：tensor flow的LSTM实现
tensorflow是已经写好了几个LSTM的实现类，能够很方便的使用，并且也能够选择多种类型的LSTM，包括Basic、Bi-Directional等等。
这个代码用的是BasicLSTM：session

#build LSTM network lstm_cell = tf.nn.rnn_cell.BasicLSTMCell(hidden_neural_size,forget_bias=0.0,state_is_tuple=True) if self.keep_prob<1: lstm_cell = tf.nn.rnn_cell.DropoutWrapper( lstm_cell,output_keep_prob=self.keep_prob ) cell = tf.nn.rnn_cell.MultiRNNCell([lstm_cell]*hidden_layer_num,state_is_tuple=True) self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32) out_put=[] state=self._initial_state with tf.variable_scope("LSTM_layer"): for time_step in range(num_step): if time_step>0: tf.get_variable_scope().reuse_variables() (cell_output,state)=cell(inputs[:,time_step,:],state) out_put.append(cell_output)

在这段代码里面，tf.nn.rnn_cell.BasicLSTMCell的初始化只须要制定LSTM神经元的隐含神经元的个数便可，而后须要初始化LSTM网络的参数：self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32)，这句代码乍看一下很迷糊，开始并不知道是什么意义，在实验以及查阅源码以后，返现这句话返回的是两个维度是batch_size*hidden_neural_size的零向量元组，其实就是LSTM初始化的c0、h0向量，固然这里指的是对于单层的LSTM，对于多层的，返回的是多个元组。app

坑2：这段代码中的zero_state和循环代数num_step都须要制定
这里比较蛋疼，这就意味着tensorflow中实现变长的状况是要padding的，并且须要所有同样的长度，可是由于数据集的缘由，不可能每一个batch的size都是同样的，这里就须要每次运行前，动态制定batch_size的大小，代码中体现这个的是assign_new_batch_size函数，可是对于num_step参数却不能动态指定（多是由于笔者没找到，可是指定tf.Variable()方法确实不行），出于无奈只能将数据集所有padding成指定大小的size，固然既然使用了padding那就必须使用mask矩阵进行计算。框架

坑3：cost返回non
cost返回Non通常是由于在使用交叉熵时候，logits这一边出现了0值，所以stack overflow上推荐的通常是：sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target)这样写法函数

训练and结果

实验背景：
tensor flow: tensor flow 0.11
platform:mac OS
数据集：subject dataset，数据集都通过了预处理，拿到的是其在词表中的索引
得益于tensorboard各个参数训练过程均可以可视化，下面是实验训练结果：学习

训练集训练结果：

验证集训练结果

损失函数训练过程

各个参数训练结果：

最终在测试集上，准确度约为85%，还不错。

比较tensorflow和thenao

tensor flow 和 theano 是最近比较流行的深度学习框架，二者很是类似可是二者又不同，下面就我我的体验比较下二者的异同。

难易程度

就使用难度而言，tensorflow的便易性要远胜于theano，毕竟theano是一堆学者研究出来的，而tensorflow是Google研究出来的，比较面向工业化。tensor flow直接集成了学术界的不少方法，好比像RNN、LSTM等都已经被tensorflow集成了，还有好比参数更新方法如梯度降低、Adadelta等也已经被tensorflow写好了，可是对于theano这个就得本身写，固然难易程度不同了。
灵活性

就灵活性而言，theano是要赛过tensor flow的，正是由于上一点theano的门槛稍高，却也使得theano有着更大的弹性，能够实现本身任意定义的网络结果，这里不是说tensorflow不行，tensorflow也能写，可是使用tensorflow久了以后，写一些自定义的结构能力就会生疏许多，好比修改LSTM内的一些结构。而Theano则没有这个约束。
容错性
我我的以为theano的容错性是比tensor flow要高的，theano定义变量，只须要制定类型，好比imatrix、ivertor之类的而不用制定任何的维度，只要你输入的数据和你的网络结构图可以对的上的话，就没问题，而tensorflow择须要预先指定一些参数（如上面代码的num_step参数），相比而言，theano的容错能力多得多，固然这样也有坏处，那就是可能对致使代码调试起来比较费劲儿。

代码
本文的代码能够在这里得到，转载请注明出处。