刘新论文,剑,他等了RAdam或“纠正亚当”。这是一个经典的新变异亚当优化器提供一个自动化、动态调整的自适应学习速率基于他们的详细研究方差和动量在训练的影响。RAdam持有的承诺立即改善每一个AI架构相比,香草亚当结果:
我已经测试了RAdam FastAI框架内,并迅速取得了新的高精度记录和两个很难击败FastAI ImageNette得分排行榜。与许多报纸今年我已经测试了,事情似乎只适合他们特定的论文中使用的数据集,而不是新数据集上做得很好,我试一试,似乎RAdam可能是一个真正的改善和永久的继任者香草亚当国际海事组织。
因此,让我们深入研究RAdam并理解它在内部,以及为什么它持有的承诺提供改善收敛性、稳定性更好的培训(选择学习不太敏感率)和几乎所有的人工智能应用程序更好的精度和泛化。
所有的人工智能研究人员的目标——一个快速和稳定的优化算法…
作者指出,尽管所有人都朝目标努力的快速和稳定的优化算法,自适应学习速率优化包括亚当,RMSProp等所有遭受风险集中到贫穷的地方最适条件——如果热身方法还没有实现。因此,几乎每个人都使用某种形式的热身(FastAI有建在热身Fit_One_Cycle)…但是为什么需要一个热身?
