keras深度训练2:训练分析

3. 常见问题

3.1 val_loss曲线或val_acc曲线震荡不平滑

缘由可能以下：

1. 学习率可能太大
2. batch size过小
3. 样本分布不均匀
4. 缺乏加入正则化
5. 数据规模较小

3.2 val_acc几乎为0

一种很重要的缘由是数据split的时候没有shuffle

import numpy as np
index = np.arange(data.shape[0])
np.random.seed(1024)
np.random.shuffle(index)
data=data[index]
labels=labels[index]

3.3 训练过程当中loss数值为负数？

缘由：输入的训练数据没有归一化形成
解决方法：把输入数值经过下面的函数过滤一遍，进行归一化

#数据归一化 
def data_in_one(inputdata):  
    inputdata = (inputdata-inputdata.min())/(inputdata.max()-inputdata.min())  
    return inputdata

3.4 怎么看loss和acc的变化（loss几次合就不变了怎么办？）

1. train loss 不断降低，test loss不断降低，说明网络仍在学习;
2. train loss 不断降低，test loss趋于不变，说明网络过拟合;
3. train loss 趋于不变，test loss不断降低，说明数据集100%有问题;
4. train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，须要减少学习率或批量数目;
5. train loss 不断上升，test loss不断上升，说明网络结构设计不当，训练超参数设置不当，数据集通过清洗等问题。

3.5 训练中发现loss的值为NAN，这时可能的缘由以下：

1. 学习率过高
2. 若是是本身定义的损失函数，这时候多是你设计的损失函数有问题

通常来讲，较高的acc对应的loss较低，但这不是绝对，毕竟他们是两个不一样的东西，因此在实际实现中，咱们能够对二者进行一个微调。

3.6 epoch轮数/BN/dropout/

关于epoch设置问题，咱们能够设置回调函数，选择验证集最高的acc做为最优模型。

关于BN和dropout，其实这两个是两个彻底不一样的东西，BN针对数据分布，dropout是从模型结构方面优化，因此他们两个能够一块儿使用，对于BN来讲其不但能够防止过拟合，还能够防止梯度消失等问题，而且能够加快模型的收敛速度，可是加了BN，模型训练每每会变得慢些。

3.7 深度网络的过拟合问题讨论

3.7.1 加入Dropout层

代码示意：

……
from keras.layers import Concatenate,Dropout
……
concatenate = Concatenate(axis=2)([blstm,embedding_layer])

concatenate=Dropout(rate=0.1)(concatenate)

3.7.2 检查数据集是否太小（Data Augmentation）

下面这段代码是我对本身实验数据作的augmentation,能够给你们提供一个参考。首先，个人数据集如图所示：

个人数据库中的essays表中有7列，每一行为一个数据样本，其中第一列AUTHID为样本编号，TEXT为文本内容，后面为文本的标记。对于文本的augmentation，一个比较合理的扩增数据集的方法就是将每个文本的句子循环移位，这样能够最大限度地保证文本总体的稳定。下面的代码读取essays表格中的样本信息，对文本进行循环移位后存入到table_augment表中。

代码示意：

#!/usr/bin/python
# -*- coding:utf8 -*-


from sqlalchemy import create_engine    # mysql orm interface,better than mysqldb
import pandas as pd
import spacy    # a NLP model like NLTK,but more industrial.
import json

TO_SQL='table_augment'
READ_SQL_TABLE='essays'

def cut_sentences(df):
    all_text_name = df["AUTHID"]  # type pandas.Series:get all text name(match the "#AUTHID" in essays)

    all_text = df["TEXT"]  # type pandas.Series:get all text(match the "TEXT" in essays)

    all_label_cEXT=df["cEXT"]
    all_label_cNEU=df["cNEU"]
    all_label_cAGR=df["cAGR"]
    all_label_cCON=df["cCON"]
    all_label_cOPN=df["cOPN"]

    all_number = all_text_name.index[-1]    # from 0 to len(all_text_name)-1
    for i in xrange(0,all_number+1,1):
        print("start to deal with text ", i ," ...")
        text = all_text[i]  # type str:one of text in all_text

        text_name = all_text_name[i]    # type str:one of text_name in all_text_name

        nlp = spacy.load('en')

        test_doc = nlp(text)#.decode('utf8'))
        cut_sentence = []
        for sent in test_doc.sents:     # get each line in the text
            cut_sentence.append(sent.text)
            """ type sent is spacy.tokens.span.Span, not a string, so, we call the member function Span.text to get its unicode form """
        line_number = len(cut_sentence)
        for itertor in range(line_number):
            if itertor !=0:
                cut_sentence=cut_sentence[1:]+cut_sentence[:1]
            cut_sentence_json = json.dumps(cut_sentence)
            input_data_dic = {'text_name': str(itertor)+"_"+text_name,
                             'line_number':line_number,
                             'line_text': cut_sentence_json,
                             'cEXT': all_label_cEXT[i],
                              'cNEU': all_label_cNEU[i],
                              'cAGR': all_label_cAGR[i],
                              'cCON': all_label_cCON[i],
                              'cOPN': all_label_cOPN[i]
                             }

            input_data = pd.DataFrame(input_data_dic,index=[i],columns=['text_name',
                                                                        'line_number',
                                                                        'line_text',
                                                                        'cEXT',
                                                                          'cNEU',
                                                                          'cAGR',
                                                                          'cCON',
                                                                          'cOPN'])

            input_data.to_sql(TO_SQL, engine, if_exists='append', index=False, chunksize=100)
        """ DataFrame.index will be insert to table by default. We don't want it, so we set the index = False(True default) """
        print("text ", i ," finished")

if __name__ =='__main__':
    engine = create_engine('mysql+pymysql://root:root@localhost:3306/personality_1?charset=utf8', echo=True,convert_unicode=True)

    df = pd.read_sql_table(READ_SQL_TABLE, engine,chunksize=5)  # read essays
    for df_iter in df:
        cut_sentences(df_iter)

3.7.3 用一用迁移学习的思想

具体来说就是model.load人家训练好的weight.hdf5，而后在这个基础上继续训练。具体能够见以后的博文中的断点训练。

3.7.4 调参小tricks.

调小学习速率（Learning Rate）以前已经讲过不在赘述
适当增大batch_size。以前已经讲过不在赘述
试一试别的优化器（optimizer）以前已经讲过不在赘述
Keras的回调函数EarlyStopping() 以前已经讲过，再也不赘述

3.7.5 正则化方法

正则化方法是指在进行目标函数或代价函数优化时，在目标函数或代价函数后面加上一个正则项，通常有L1正则与L2正则等。

代码片断示意：

from keras import regularizers
……
out = TimeDistributed(Dense(hidden_dim_2,
                            activation="relu",
                            kernel_regularizer=regularizers.l1_l2(0.01,0.01),
                            activity_regularizer=regularizers.l1_l2(0.01,0.01)
                            )
                      )(concatenate)

……

dense=Dense(200,
            activation="relu",
            kernel_regularizer=regularizers.l1_l2(0.01,0.01),
            activity_regularizer=regularizers.l1_l2(0.01,0.01)
            )(dense)

更多参考信息：
https://blog.csdn.net/mrgiovanni/article/details/52167016