神经网络损失函数以及如何为其添加常数

我有一个仅具有卷积层的神经网络模型,并且需要一些有关损失函数的帮助。

我正在阅读一篇论文,建议添加一个常数,该常数与可以通过训练模型的结果计算出的“能量”成正比。比简单的损失函数要复杂一些。这样做是为了帮助训练,而不是局限于局部最小值。

出现两个问题:

1:如何简单地为损失的每个时期(或迷你批处理)向损失函数添加一个值?

2:这如何帮助网络训练?由于为每个时代步骤添加一些常数值对反向传播步骤没有帮助。由于这取决于某些推导。

如果您回答我的第一个问题,我已经非常感激。 非常感谢你。

评论