理解深度学习 optimizer 的发展脉络：SGD、Momentum、RMSProp、Adam、AdamW 分别解决什么问题，为什么 AdamW 成了现代深度学习的默认强基线，以及什么时候还会选择别的 optimizer。

从损失函数的视角理解训练目标：MSE、MAE、Huber、binary cross entropy、cross entropy、KL divergence、hinge loss、contrastive loss 分别适合什么任务。

从机制出发总结 activation function：为什么神经网络需要非线性，sigmoid、tanh、ReLU、GELU、SiLU 各自解决什么问题，以及为什么 400 个 activation 的综述更适合作为地图而不是菜单。