下降法的思想

假设目标函数为:
F(x) = f(x)’f(x).
最速下降法:
目标函数F(x),在迭代点处,采用一阶泰勒展开近似,然后把满足近似模型极小值的点,作为新的迭代点。重复此过程,直至满足终止条件!

牛顿法:
迭代点处的二阶泰勒展开,对**目标函数F(x)**进行二次函数近似,然后把二次模型的极小点,作为新的迭代点。重复此过程,直至满足终止条件。

小结:
这两种方法的基本思想,都是对目标函数F(x),在迭代点处,采用泰勒展开近似,然后把满足近似模型的极小值点,作为新的迭代点,重复此过程,直到终止。
需要注意的是,在使用泰勒公式时,我们要求的是\delta x;

这两种方法的优点在于,可以把非线性问题,变为迭代求解线性方程问题,避免了对非线性方程直接求导。
缺点:
最速下降法容易在靠近极小值的时候收敛速度变慢;
牛顿法需要求解海瑟矩阵,求解困难

高斯牛顿法:
与上述两种方法不同,高斯牛顿法是对f(x)采用一阶泰勒展开近似,然后把近似后的模型带入到目标函数中,得到近似后的目标函数,然后按照上述思想,以近似后的目标函数的最小值作为新的迭代点

高斯牛顿法可以避免求海瑟矩阵,同时具有二阶收敛速度。

剩下的待补充!

    原文作者:IQIT
    原文地址: https://blog.csdn.net/qit1314/article/details/84865556
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞