目前较好的优化器RAdam优化器

游侠深度学习优化器 Ranger-一种协同优化器，将RAdam（Rectified Adam）和LookAhead结合在一起，现在将GC（梯度集中化）集成到一个优化器中。 快速说明-Ranger21现在处于beta中，并且Ranger具有许多新改进。 建议您将结果与Ranger21进行比较： : 最新版本20.9.4-将“梯度集中化”更新为GC2（感谢GC开发人员），并删除了PyTorch 1.60中的addcmul_弃用警告。 *最新版本位于ranger2020.py中-在集成到主ranger.py中之前，请查看其他一些附加内容。 什么是渐变集中化？=“ GC可以看作是具有受约束损失函数的投影梯度下降方法。受约束损失函数及其梯度的Lipschitzness更好，因此训练过程变得更加有效和稳定。 资料来源： : Ranger现在默认情况下使用“渐变集中化”，并且默认情况下