1、泛化能力

概念：在机器学习方法中，泛化能力通俗来讲就是指学习到的模型对未知数据的预测能力。在实际情况中，我们通常通过测试误差来评价学习方法的泛化能力。如果在不考虑数据量不足的情况下出现模型的泛化能力差，那么其原因基本为对损失函数的优化没有达到全局最优。

举个例子：

​ 高中生每天各种做题，五年高考三年模拟一遍遍的刷，为的什么，当然是想高考能有个好成绩。高考试题一般是新题，谁也没做过，平时的刷题就是为了掌握试题的规律，能够举一反三、学以致用，这样面对新题时也能从容应对。这种规律的掌握便是泛化能力，有的同学很聪明，考上名校，很大程度上是该同学的泛化能力好。

​ 考试成绩差的同学，有这三种可能：一、泛化能力弱，做了很多题，始终掌握不了规律，不管遇到老题新题都不会做；二、泛化能力弱，做了很多题，只会死记硬背，一到考试看到新题就蒙了；三、完全不做题，考试全靠瞎蒙。机器学习中，第一类情况称作欠拟合，第二类情况称作过拟合，第三类情况称作不收敛。

机器学习的目标是对从真实概率分布（已隐藏）中抽取的新数据做出良好预测。遗憾的是，模型无法查看整体情况；模型只能从训练数据集中取样。如果某个模型在拟合当前样本方面表现良好，那么你如何相信该模型也会对从未见过的样本做出良好预测呢？

奥卡姆剃刀定律在机器学习方面的运用如下：

• 机器学习模型越简单，良好的实证结果就越有可能不仅仅基于样本的特性。

现今，我们已将奥卡姆剃刀定律正式应用于统计学习理论和计算学习理论领域。这些领域已经形成了泛化边界，即统计化描述模型根据以下因素泛化到新数据的能力：

• 模型的复杂程度
• 模型在处理训练数据方面的表现

2、泛化误差

根据PAC理论：

​ 泛化误差可以直观理解为以e指数的形式正比于假设空间的复杂度，反比于数据量的个数。就是数据量越多，模型效果越好，模型假设空间复杂度越简单，模型效果越好。

3、提高泛化能力

提高泛化能力的方式大致有三种：1.增加数据量。2.正则化。3.凸优化。

总得来说：

泛化能力可以认为就是举一反三的能力。