梯度下降是机器学习中用来求最小值的算法，它被广泛应用于像逻辑回归、线性回归和神经网络的模型中。

一、全局误差函数

要了解为什么使用“梯度下降法”去求最小值，必须先知道机器学习求得模型的方式。比如现在有一份线性数据的关系，假设他的模型为线性，w为权值（随机），b为偏置，e为假设的“误差”：

假设拟合模型

我们把这个方程做一下变换，得到关于真实值和模型拟合值的误差

公式转换

上面只是关于一个数据的误差，接下来对所有数据的误差进行一次加和，然后再平方。得到一个所有真实值与拟合值误差的平方函数，将其定义为“全局性误差函数”loss

误差函数loss

我们回过头去想，机器学习的目的就是拟合出一个可以准确描述这组数据的模型。按照上面的公式来看，如果令“Loss=0”，也就是令所有真实值与拟合值误差的平方为零，就等于说这个模型是可以准确描述真实世界数据的。而让Loss为零时的w与b，就是描述这个模型的参数

至于为什么要进行平方处理，是应用了最小二乘的思想。我们本来是想找到一个合适的模型，对此构建了一个真实值与拟合值的“平方差模型”，找到了这个平方差模型的解，也就等于是找到了我们需要的“拟合模型”

本质上，我们是通过上面的方式，把一个求模型的问题，转换成了一个函数求解“最小值”的数学问题。那么问题来了，如何找到这个函数中的最小值，就是“梯度下降”所解决的问题。

二、梯度下降法

问题变成了求解一个函数模型的最小值问题，要用到高等数学里关于“导数”的一系列概念和知识作为铺垫。想理解何为梯度，梯度是如何一步一步如何求得这个函数的最小值，就必须从他开始

2.1梯度的定义

·导数

导数反映在下图，是曲线上的某个点沿x轴正方向的变化率（即切线）。

导数

·偏导数

偏导数本质上与导数一样，都是当自变量变化的时候，函数值的变化量与自变量变化值的比值（即某个点沿x轴正方向的变化率）。不同在于导数描述的一元函数，而偏导描述的是多元函数

·方向导数

方向导数与导数和偏导不同在于，它描述的是一个多元函数，在任意方向上的变化率。方向导数既有数值，也有方向（不再仅仅是正方向一个方向）。

·梯度

那么问题来了，你想不想知道在这个点的n多个方向导数中，哪个是下降的方向变化是最大的，哪个是上升的方向变化最大的。这就引出了对“梯度”的定义：

梯度，即函数在某个点的一个向量，它的方向与取得最大方向导数的方向一致，模为该方向导数的最大值。

梯度与方向导数的关系，可以理解为它是方向导数中两个极端的“子集”，因为方向导数可以说有无数个方向，而梯度就是两个上升和下降变化率最大的两个方向

2.2梯度下降法

（1）核心思想

理解了全局性误差函数模型和对梯度的定义，让我们来看看梯度下降是怎么找到函数最小值的。

梯度下降的核心思想为：当你在一个模型中随机选取了一个点并求得该点的Loss，此时你的目的是找到让Loss等于或最接近零的点，你为了让loss减小，就要寻找下一个能让这个loss下降最多的点。但如果对所有的方向依次试一遍，那工作量实在是太大了！这时候就可以引入“梯度”来解决这个问题

我们已经知道梯度是某个点的“最大方向导数”，如果沿着“梯度负方向”，也就是沿着这个点在模型中“下降最多方向”的方向导数，就最有可能以最快的速度找个“最小值”点。

梯度下降

可以借着上面的图，想象自己在一个山上的点，你想要下山的话，环顾一下四周，沿着一个最最陡峭的方向挪一下，又到了一个点，继续环顾四周，找到当前最陡峭的方向，继续挪……梯度下降就是这样一个过程

（2）局部最优

当然，即时是沿着“负向”梯度方向，也不一定能保证所到达的点一定是全局最优解。目前几乎所有的实用算法，都不能像上帝视角一样保证每次都能找到全局最优解。不过即使是“局部最优”，也能解决很大问题了。

（3）梯度下降公式

梯度下降算法的公式如下：

梯度下降算法公式

公式依次代表为“下次迭代的点”、“目前所在的点”、“学习率”和“最大负向梯度”。按照这个公式，每次迭代都会根据上次的步长减去学习率乘以“梯度”的值，去一步一步更新，这样能可以每次迭代都朝着最大负方向去迭代。

（4）学习率

让我们来看看学习率a代表什么。它直接决定着每次更新的挪动大小。

如果a太小，那么每次挪动的距离只会一点一点挪动，这样就需要很多步才能到达最低点。

如果a太大，那么梯度下降法可能会越过最低点，甚至可能“无法收敛”都不一定哦。因为你每次挪动的距离都很大，这次越过了一个最低点，下次又越过了一次最低点，直到越过所有“最低点”，那么你就永远都找不到“局部最优解”了，也就发散了

（5）自动减小幅度值

梯度下降法还有一个优势，就是越接近最小值的时候，梯度下降法会自动调整更新的幅度，这是因它的公式本身而决定的，以下图为例，假设我最开始在取值在函数中的最高点（粉红色），那么很显然每次下降之后的点，梯度都会变得越来越小。

梯度下降步骤（由上至下）

当你接近局部最优解的时候，很显然在局部最低时导数等于零，当接近局部最优解时，导数值（即公式的最后一部分）会变得越来越小，所以梯度下降将自动采取较小的幅度。很神奇有木有，你都不用刻意去调整学习率a的值，梯度下降法会自动保证不越过最低点