梯度消失

Sandals-little / 2023-08-23 / 原文

产生原因

激活函数采用sigmod或双曲正切函数时输入过大或则过小会导致其梯度接近于0

解决方案

  • 采用Relu函数
  • 输入数据归一化(批归一化)是所有输入数据落在梯度不为0的区间
  • 合适的权值初始化策略