ReLU激活函数,relu激活函数( 二 )


它的值区间在0和1之间,是一个S形曲线 。它很容易理解和应用,但使其不受欢迎的主要原因是:·梯度消失问题·其次,它的输出不是以0为中心 。它的梯度更新在不同的方向上且走得太远 。0

推荐阅读