深度学习－Relu层

我们在本章节将解释如何在Python / Matlab中实现ReLU层，如下图： 简而言之，ReLU层将在输入张量上的所有元素中应用该功能，而不会更改其空间或深度信息。 从上图可以看出，所有正元素都保持不变，而负数变为零。 空间信息和深度也相同。 考虑到神经网络，它只是一种新型的激活函数，但具有以下功能： １、易于计算（向前/向后传播） ２、在深层模型中消失的梯度少得多 ３、不好的一点是，如果您的

>>阅读原文<<