Neural-Network on k4i's bloghttps://k4i.top/zh/tags/neural-network/Recent content in Neural-Network on k4i's blogHugo -- gohugo.iozhsky_io@outlook.com (K4i)sky_io@outlook.com (K4i)All content is subject to the license of <a rel="license noopener" href="https://creativecommons.org/licenses/by-nc-sa/4.0/" target="_blank">CC BY-NC-SA 4.0</a> .Thu, 18 Jun 2026 10:00:00 +0800Activation Function：神经网络里那个很小但很关键的非线性https://k4i.top/zh/posts/activation-functions-neural-networks/Thu, 18 Jun 2026 10:00:00 +0800sky_io@outlook.com (K4i)Thu, 18 Jun 2026 10:00:00 +0800https://k4i.top/zh/posts/activation-functions-neural-networks/<p>Activation function 看起来只是神经网络层里一个很小的函数。真正重的计算通常是矩阵乘法：</p> <p>$$z = Wx + b$$</p> <p>然后逐元素套一个函数：</p> <p>$$a = \phi(z)$$</p> <p>很容易把 \(\phi\) 当成一个可以随便替换的名字：sigmoid、tanh、ReLU、GELU、SiLU、Mish，或者几百个变体。但 activation function 不是装饰。它决定了多层网络能不能表达非线性函数，梯度能不能传下去，hidden value 的分布是否稳定，以及为了很小的精度收益是否要付出明显的运行成本。</p>K4ifeatured imagedeep-learningactivation-functionneural-networkgradient-descentAI