Activation Function:神经网络里那个很小但很关键的非线性📅 2026年06月18日 · ☕ 7 分钟 · ✍️ k4i从机制出发总结 activation function:为什么神经网络需要非线性,sigmoid、tanh、ReLU、GELU、SiLU 各自解决什么问题,以及为什么 400 个 activation 的综述更适合作为地图而不是菜单。