偏差方差分解中为什么第三行第六行为零

首先得先了解计算偏差方差的方法
《偏差方差分解中为什么第三行第六行为零》
尤其需要注意的是每次通过不同的模型对测试样本中的1个x进行偏差方差分析,这一点至关重要!
然后我们开始推理为什么下面这个链接中的公式的第三行和第六行中为0
公式链接源地址
下图是公式
《偏差方差分解中为什么第三行第六行为零》
首先对于第三行消掉的式子
《偏差方差分解中为什么第三行第六行为零》
中的后半部分小括号中的预测期望减去 y d y_d yd这个东西, y d y_d yd是样本在不同Di中的标签。比如在得到D1这个数据集时,往其中加入(x,y)这个样本,将标签y误输为y+30,此时便产生了噪声。为了方便计算,我们假设噪声期望为0,即:
参考文献
E D [ y d − y ] = 0 ( 消 去 第 六 行 中 有 用 ) ED[y_d−y]=0(消去第六行中有用) ED[ydy]=0()
y 是 样 本 的 真 实 标 签 y 是样本的真实标签 y
好的,我们回到消第三行,这个式子中有两个变量 f ( x ; D ) f(x;D) f(x;D) y d y_d yd均会随着D这个训练集变化而变化,而预测期望为常数,至于它为什么等于零,见下图:参考链接
《偏差方差分解中为什么第三行第六行为零》
可以自己展开推一推,按照期望的加法公式展开就可以了,主要是明白哪个是变量,哪个是常数就行。
对于第六行
《偏差方差分解中为什么第三行第六行为零》
变量只剩下 y d y_d yd了。其他常数提出去,按照我们所说的噪声期望为零,一推就出来了。
下面是老师上课的ppt内容,在对D作期望后,针对每个测试实例 x x x,在做一次期望,那么就可以得到这次假设的一个偏差和方差,毕竟仅仅一次D上的期望只是针对一个 x x x,实际上就是把得到的针对每个 x x x后得到的偏差和方差再做一个取均值。
《偏差方差分解中为什么第三行第六行为零》
《偏差方差分解中为什么第三行第六行为零》

    原文作者:qq_41799012
    原文地址: https://blog.csdn.net/qq_41799012/article/details/109228426
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞