对于线性模型,特征值差别很大时,比如说LR,我有两个特征,一个是(0,1)的,一个是(0,10000)的,运用梯度下降的时候,损失等高线是椭圆形,需要进行多次迭代才能到达最优点。
但是如果进行了归一化,那么等高线就是圆形的,促使SGD往原点迭代,从而导致需要的迭代次数较少。
所以说是因为梯度下降的算法需要进行归一化,归一化后加快了梯度下降求解最优解的速度
树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,可以看下决策树ID3算法python实现理解。因为求导没意义,也就不需要归一化
对于线性模型,特征值差别很大时,比如说LR,我有两个特征,一个是(0,1)的,一个是(0,10000)的,运用梯度下降的时候,损失等高线是椭圆形,需要进行多次迭代才能到达最优点。
但是如果进行了归一化,那么等高线就是圆形的,促使SGD往原点迭代,从而导致需要的迭代次数较少。
所以说是因为梯度下降的算法需要进行归一化,归一化后加快了梯度下降求解最优解的速度
树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,可以看下决策树ID3算法python实现理解。因为求导没意义,也就不需要归一化