第三章：深度学习基础

3.1 局部极小值与鞍点

临界点，即梯度为零的点，包含局部极小值（local minimum）和鞍点（saddle point）。

梯度下降算法在接近鞍点的时候会变得非常慢，阻碍了继续优化的进程。所以我们需要判断这个临界点是不是鞍点，以及如果是、应该怎么离开它。

判断鞍点

通过泰勒级数近似、海森矩阵等数学方法进行判断。

计算一阶偏导数，如果同时为零，则可能是极值点或鞍点。

计算二阶偏导数，构造Hessian矩阵。

判断Hessian矩阵：如果特征值有正有负，就是鞍点；如果所有特征值都是正的，是局部最小值点；如果都是负的，是局部最大值点。

逃离鞍点的方法

低维度空间中的局部极小值点，在更高维的空间中往往是鞍点。

批量梯度下降（BGD）和随机梯度下降（SGD）：3.2介绍。

动量（Momentum）：3.2介绍。效果通常比SGD要好一些。

自适应学习率（Adagrad、Rmsprop、Adadelta）：3.3介绍。效果会更好、更稳健，不用考虑习率的设置。

参考：

https://www.zhihu.com/question/273702122/answer/447549439

3.2 批量和动量

批量（BGD和SGD）

批量梯度下降算法（BGD）：在一个大批量中同时处理所有样本，这需要大量时间，而且有些例子可能是多余的且对参数更新没有太大的作用。

随机梯度下降算法（SGD）：在每次迭代时使用一个样本来对参数进行更新（mini-batch size =1）。当遇到局部极小值或鞍点时，SGD会卡在梯度为0处。

小批量梯度下降（MBGD）：大多数用于深度学习的梯度下降算法介于以上两者之间，使用一个以上而又不是全部的训练样本。MGBD需要随着时间的推移逐渐降低学习率：在梯度下降初期，能接受较大的步长（学习率），以较快的速度进行梯度下降；当收敛时，让步长小一点，并且在最小值附近小幅摆动。但因为噪音的存在，学习过程会出现波动。

参考：

https://zhuanlan.zhihu.com/p/72929546

动量

动量，也就是梯度……

在物理的世界里，一个球如果从高处滚下来，就算滚到鞍点或鞍点，因为惯性的关系它还是会继续往前走。如果球的动量足够大，甚至翻过小坡继续往前走。

3.3 自适应学习率

调整学习率（步长）是很重要的。步长太大，一下子就跨过了最优解；步长太小，要走很久很久才能到达。

就像《小马过河》一样：河水对老牛来说很浅，对松鼠来说很深。不同的参数也需要不同的学习率（而不是固定不变的）：如果在某一个方向上梯度值很小（非常平坦），我们会希望学习率调大一点；如果在某一个方向上非常陡峭（坡度很大），我们会希望学习率可以设得小一点。

自适应梯度算法AdaGrad（Adaptive Gradient）

具体而言，AdaGrad在每次更新时对每个参数的学习率进行缩放，使得学习率对于梯度较大的参数较小，而对于梯度较小的参数较大。

均方根传递RMSprop（Root Mean Squared propagation）

注意这个不是均方根误差RMSE（Root Mean Square Error）！

RMSE对标的是MSE（Mean Square Error）均方误差。

这是对AdaGrad的改进，旨在解决AdaGrad在训练后期学习率迅速下降的问题。AdaGrad在算均方根的时候，每一个梯度都有同等的重要性，但RMSprop 可以自己调整当前梯度的重要性。

Adam（Adaptive moment estimation）

Adam 可以看作 RMSprop 加上动量，使用动量作为参数更新方向，并且能够自适应调整学习率。

参考：

https://blog.csdn.net/fengguowuhen0230/article/details/130205653

https://blog.csdn.net/ljd939952281/article/details/141470620