正则化的代码？

咱们用正则化来缓解泛化效果差的问题，就是给权重一个矩阵，加在loss上。

如图所示，正则化后的loss，是原来的loss再加上正则化项，正则化项就是正则化参数*loss（w），这个，跟吴恩达讲的如出一辙。

正则化项的表示代码为tf.contrib.layers.l2_regularizer（lambda）(w)，其中lambda是正则化参数，w是权重

tf.add_to_collection("losses",tf.contrib.layers.l2_regularizer(lambda)(w))  #把正则化项放入一个名为"losses"的集合器里面，咱们打算用这个losses来表示整个正则化项了。

loss=cem+tf.add_n(tf.get_collection("losses"))  #cem是原来的loss，如今把正则化项和以前的最原始的loss加在一块儿，就获得了正则化后的loss

ok，你可能看不懂，问“为何要这么麻烦？直接把正则化项加进cem不就好了吗？”是的，我也不懂为何，但就是这样的一环套一环，你还就真得按照这个代码去操做，否则你作不出来。

下面看代码

import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
#设置batch（临时样本）
step=30
#产生输入数据
x_data=np.random.randn(300,2)
#产生输入数据集的标签（正确答案）
y_data=[int(x0*x0+x1*x1<2) for (x0,x1) in x_data]
#遍历y_data中的每一个元素，1赋值red，其他赋值blue，这样可视化显示时容易区分
y_s=[["red" if y else "blue"] for y in y_data]
#数据变形，按行堆叠成一个新数组
x_data=np.vstack(x_data).reshape(-1,2)#numpy中，shape里写-1，至关于tensorflow里写None
y_data=np.vstack(y_data).reshape(-1,1)
print(x_data)
print(y_data)
print(y_s)
#用plt.scatter画出数据集x_data各行中第0列元素和第一列元素的点即各行的（x0,x1），用各行y_s对应的值表示颜色
plt.scatter(x_data[:,0],x_data[:,1],c=np.squeeze(y_s))
plt.show()

#定义神经网络的输入、参数和输出，定义前向传播
def get_weight(shape,regularizer):
    w=tf.Variable(tf.random_normal(shape),dtype=tf.float32)
    tf.add_to_collection("losses",tf.contrib.layers.l2_regularizer(regularizer)(w))
    return w
def get_bias(shape):
    b=tf.Variable(tf.constant(0.01,shape=shape))
    return b
#输入层输入
x=tf.placeholder(tf.float32,shape=(None,2))
y_=tf.placeholder(tf.float32,shape=(None,1))
#输入层到隐藏层
w1=get_weight([2,11],0.01)
b1=get_bias([11])
y1=tf.nn.relu(tf.matmul(x,w1)+b1)
#隐藏层到输出层
w2=get_weight([11,1],0.01)
b2=get_bias([1])
y=tf.matmul(y1,w2)+b2#输出层不激活（仅限这个代码不激活）

#定义损失函数
loss_mse=tf.reduce_mean(tf.square(y-y_))
loss=loss_mse + tf.add_n(tf.get_collection("losses"))

#定义反向传播
optimizer=tf.train.AdamOptimizer(0.0001).minimize(loss)

#初始化
init=tf.global_variables_initializer()
with tf.Session() as sess:
    sess.run(init)
    for i  in range(40000):
        start=(i*step)%300
        end=start+step
        sess.run(optimizer,feed_dict={x:x_data[start:end],y_:y_data[start:end]})
        if i%2000==0:
            loss_mse_val=sess.run(loss_mse,feed_dict={x:x_data,y_:y_data})
            print(f"通过{i}步，loss现为：{loss_mse_val}")

    # xx在-3到3之间以步长为0.01，yy在-3到3之间以步长0.01,生成二维网格坐标点
    xx, yy = np.mgrid[-3:3:.01, -3:3:.01]
    # 将xx , yy拉直，并合并成一个2列的矩阵，获得一个网格坐标点的集合
    grid = np.c_[xx.ravel(), yy.ravel()]
    # 将网格坐标点喂入神经网络 ，probs为输出
    probs = sess.run(y, feed_dict={x: grid})
    # probs的shape调整成xx的样子
    probs = probs.reshape(xx.shape)
    print("w1:\n", sess.run(w1))
    print("b1:\n", sess.run(b1))
    print("w2:\n", sess.run(w2))
    print("b2:\n", sess.run(b2))

plt.scatter(x_data[:, 0], x_data[:, 1], c=np.squeeze(y_s))
plt.contour(xx, yy, probs, levels=[.5])
plt.show()