2-3　神经网络

有了以上的基础后，我们就可以进一步探讨神经网络(Neural Network)如何求解，这是进入深度学习领域非常重要的概念。

2-3-1　神经网络概念

神经网络是深度学习最重要的算法，它主要是模仿生物神经网络的传导系统，希望通过层层解析，归纳出预测的结果。

生物神经网络中表层的神经元接收到外界信号，归纳分析后，再通过神经末梢，将分析结果传给下一层的每个神经元，下一层神经元进行相同的动作，再往后传导，最后传至大脑，大脑做出最后的判断与反应。

于是，AI科学家将上述生物神经网络简化成下列的网络结构。

AI神经网络最简单的连接方式称为完全连接(Full Connected, FC)，亦即每个一神经元均连接至下一层的每个神经元，因此，我们可以把第二层以后的神经元均视为一条回归线的y，它的特征变量(x)就是前一层的每一个神经元，例如下面的y₁、z₁两条回归线。

y₁=w₁x₁+w₂x₂+w₃x₃+b

z₁=w₁y₁+w₂y₂+w₃y₃+b

所以，简单讲，一个神经网络可视为多条回归线组合而成的模型。

以上的回归线是线性的，为了支持更通用性的解决方案(Generic Solution)，模型还会乘上一个非线性的函数，称为激励函数(Activation Function)，期望也能解决非线性的问题，如下图所示。由于中译名称“激励函数”并不能明确表达其原意，故以下直接以英文Activation Function表示。

如果不考虑Activation Function，每一条线性回归线的权重(Weight)及偏差(Bias)可以通过最小平方法(OLS)求解，但乘上非线性的Activation Function，就比较难用单纯的数学公式求解了，因此，学者就利用优化(Optimization)理论，针对权重、偏差各参数分别偏微分，沿着切线(即梯度)逐步逼近，找到最佳解，这种算法就称为“梯度下降法” (Gradient Descent)。

有一个很好的比喻来形容这个求解过程：当我们在山顶时，不知道下山的路，于是，就沿路往下走，遇到叉路时，就选择坡度最大的叉路走，直到抵达平地为止。所以梯度下降法利用偏微分(Partial Differential)求解斜率，沿斜率的方向，一步步往下走，逼近最佳解，直到损失函数没有显著改善为止，这时我们就认为已经找到最佳解了。

2-3-2　梯度下降法

梯度其实就是斜率，单变量回归线的权重称为斜率，对于多变量回归线，须个别作偏微分求取权重值，就称为梯度。以下，先针对单变量求解，示范如何使用梯度下降法(Gradient Descent)求最小值。

范例1．假定损失函数f(x)=x²，而非MSE，请使用梯度下降法求最小值。

注意，损失函数又称为目标函数或成本函数，在神经网络相关文献中大多称为损失函数，本书将统一以“损失函数”取代“目标函数”。

下列程序代码请参考【02_02_梯度下降法.ipynb】。

（1）定义函数(func)及其导数(dfunc)。

（2）定义梯度下降法函数，反复更新x，更新的公式如下，后面章节我们会推算公式的由来。

新的x=目前的x-学习率(learning_rate)*梯度(gradient)

（3）设定起始点、学习率(lr)、执行周期数(epochs)等参数后，调用梯度下降法求解。

执行结果：

每一执行周期的损失函数如下，随着x变化，损失函数逐渐收敛，即前后周期的损失函数差异逐渐缩小，最后当x=0时，损失函数f(x)等于0，为函数的最小值，与最小平方法(OLS)的计算结果相同。

[5.2, 0.8, 0.32, 0.13, 0.05, 0.02, 0.01, 0, 0, 0, 0, 0, 0, 0, 0]

如果改变起始点(x_start)为其他值，例如-5，依然可以找到相同的最小值。

范例2．假定损失函数f(x)=2x⁴−3x²++2x −20，请使用梯度下降法求取最小值。

（1）定义函数及其微分。

（2）绘制损失函数。

执行结果：

梯度下降法函数(GD)不变，执行程序，如果学习率不变(lr=0.3)，会出现错误信息：Result too large，原因是学习率过大，梯度下降过程错过最小值，往函数左方逼近，造成损失函数值越来越大，最后导致溢出。

修改学习率(lr=0.001)，同时增加执行周期数(epochs=15000)，避免还未逼近到最小值，就提早结束。

执行结果：当x=0.51时，函数有最小值。

观察上述范例，不管函数为何，我们以相同的梯度下降法(GD函数)都能够找到函数最小值，最重要的关键是“x的更新公式”：

新的x=目前的x-学习率(learning_rate)*梯度(gradient)

接着我们会说明此公式的由来，也就是神经网络求解的精华所在。

2-3-3　神经网络权重求解

神经网络权重求解是一个正向传导与反向传导反复执行的过程，如下图所示。

（1）由于神经网络是多条回归线的组合，建立模型的主要任务就是计算出每条回归线的权重(w)与偏差(b)。

（2）依上述范例的逻辑，一开始我们指定w、b为任意值，建立回归方程式y=wx+b，将特征值(x)代入方程式，可以求得预测值，进而计算出损失函数，例如MSE，这个过程称为正向传导(Forward Propagation)。

（3）通过最小化MSE的目标和偏微分，可以找到更好的w、b，并依学习率来更新每一层神经网络的w、b，此过程称为反向传导(Back Propagation)。这部分可以由微分的连锁率(Chain Rule)，一次逆算出每一层神经元对应的w、b，公式为：

W_t+1=W_t-学习率(learning rate)*梯度(gradient)

其中：

学习率是优化器事先设定的固定值或动能函数。

（4）重复(2)、(3)步骤，一直到损失函数不再有明显改善为止。

梯度(gradient)公式证明如下：

（1）损失函数，因n为常数，故仅考虑分子，即SSE。

（2）

（3）以矩阵表示，SSE=y²−2ywx+w²x²

（4）

（5）同理，

（6）为了简化公式，常把系数2拿掉。

（7）最后公式为：

调整后权重=原权重+ (学习率*梯度)

（8）有些文章将梯度负号拿掉，公式就修正为：

调整后权重=原权重 - (学习率*梯度)。

以上是以MSE为损失函数时的梯度计算公式，若使用其他损失函数，梯度计算结果也会有所不同，如果再加上Activation Function，梯度公式计算就更加复杂了。还好，深度学习框架均提供自动微分(Automatic Differentiation)、计算梯度的功能，我们就不用烦恼了。后续有些算法会自定义损失函数，因而产生意想不到的功能，例如风格转换(Style Transfer)可以合成两张图像，生成对抗网络(Generative Adversarial Network, GAN)，产生几可乱真的图像。也因为如此关键，我们才花费了这么多的篇幅铺陈“梯度下降法”。

基础原理介绍到此，下一章，我们就以PyTorch实现自动微分、梯度下降、神经网络层，进而构建各种算法及相关的应用。