为什么要对数值类型的特征做归一化,树形算法为啥不需要归一化?

对于线性模型,特征值差别很大时,比如说LR,我有两个特征,一个是(0,1)的,一个是(0,10000)的,运用梯度下降的时候,损失等高线是椭圆形,需要进行多次迭代才能到达最优点。

但是如果进行了归一化,那么等高线就是圆形的,促使SGD往原点迭代,从而导致需要的迭代次数较少。

所以说是因为梯度下降的算法需要进行归一化,归一化后加快了梯度下降求解最优解的速度

树模型(回归树)寻找最优点时是通过寻找最优分裂点完成的,可以看下决策树ID3算法python实现理解。因为求导没意义,也就不需要归一化

    原文作者:HelloData
    原文地址: https://segmentfault.com/a/1190000019838671
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞