作业帮 > 数学 > 作业

神经网络的初始权值和阈值为什么都归一化0到1之间呢

来源:学生作业帮 编辑:拍题作业网作业帮 分类:数学作业 时间:2024/05/19 04:28:32
神经网络的初始权值和阈值为什么都归一化0到1之间呢
或是-1到1,
还有神经网络的收敛只得是什么呢!
因为神经元的传输函数在[0,1]之间区别比较大,如果大于1以后,传输函数值变化不大(导数或斜率就比较小),不利于反向传播算法的执行.反向传播算法需要用到各个神经元传输函数的梯度信息,当神经元的输入太大时(大于1比如),相应的该点自变量梯度值就过小,就无法顺利实现权值和阈值的调整).传输函数比如logsig或tansig,你可以把函数图像画出来,会发现,[-1,1]之间函数图像比较徒,一阶导数(梯度)比较大,如果在这个敬意范围之外,图像就比较平坦,一阶导数(梯度)就接近0了.