监督学习中
输入输出空间可以是有限元素的集合
每一个输入实例 （instance）
由特征向量 feature vector 表示
所有特征向量存在的空间称未特征空间 feature space
特征向量
一个特征向量
第i个特征向量
训练集 （代表输入特征向量，y代表输出）
联合概率分布
P（X|Y） 表示分布
thinking：统计学习假设数据存在一定的假设规律，XY具有联合概率分布的假设就是监督学习
关于数据的基本假设
假设空间
监督学习目的是学习一个由输入到输出的映射，称为模型
模式的集合就是假设空间(hypothesis space)
概率模型:条件概率分布P(Y|X), 决策函数:Y=f(X)
监督学习利用训练数据机学习一个模型，在用模型对样本集进行预测
在这个过程中需要训练数据，而训练数据集往往是人工给出的，所以称之为监督学习
监督学习又分为 学习 和 预测两个阶段
参考： 李航-《统计学习方法》
