Optimizer
Optimizer:从 SGD 到 AdamW,模型参数到底怎么更新
· ☕ 9 分钟 · ✍️ k4i
理解深度学习 optimizer 的发展脉络:SGD、Momentum、RMSProp、Adam、AdamW 分别解决什么问题,为什么 AdamW 成了现代深度学习的默认强基线,以及什么时候还会选择别的 optimizer。
Optimizer:从 SGD 到 AdamW,模型参数到底怎么更新