无监督学习的目标
利用无标签的数据学习数据的分布或数据与数据之间的关系被称作无监督学习。
有监督学习和无监督学习的最大区别就在于数据是否有标签
无监督学习最常应用的场景是聚类（clustering）和降维（Dimension reduction）
聚类是根据数据相似性间数据分为多类的过程。
评估两个不同样本之间的“相似性”，通常使用的方法就是计算两个样本之间的“距离”，
使用不同的方法计算样本见得距离会关系到聚类结果的好坏。
常用方法
欧氏距离：最常用的距离度量方法，源于欧式空间中两点的距离

image.png

曼哈顿距离：城市街区距离，类似于在城市之中驾车行驶，从一个十字路口到另一个十字路口的距离。其计算方法如下：

image.png

马氏距离表示数据协方差距离，是一种尺度无关的度量放肆，也就是说，马氏距离会先将样本点的各个属性标准化，再计算样本之间的距离。其计算方式如下：

image.png

夹角余弦
余弦相似度用向量空间中两个两个向量夹脚的余弦值作为衡量两个样本差异的大小。
余弦值越接近为1，说明两个响亮夹角越接近零度，表明两个向量越相似。
其计算方法如下：

image.png

sklearn vs 聚类
scikit聚类和分类都是无监督学习
scikit_learn库（简称sklearn库）提供常用的聚类算法函数包含在sklearn.cluster这模块中，如：K_Means，近邻传播算法，DBSCAN，等。
以同样的数据集应用于不同的算法可能会得到不同的结果，算法所消耗的时间也不尽相同，这是由算法特性决定的。

sklearn.cluster模块提供的各聚类算法函数可以使用不同的数据形式作为输入：
标准数据输入格式：[样本数目，特征数目]定义的矩阵形式，矩阵中的每一个元素为两个样本的相似度，如DBSCAN , AffinityPropagation(近邻传播算法)接受这种输入。如果以余弦相似度为例，对角线元素全为1，矩阵中每个元素的取值范围为【0,1】

image.png

sklearn.cluster
算法名称 参数 可扩展性 相似度度量
K-means 聚类个数 大数据规模 点间距离
DBSCAN 邻域大小 大规模数据 点间距离
Gaussian聚类个数及其他超参 复杂度高，不适合处理大规模数据 马氏距离
MIixtures
Birth 分支因子，阈值等其他超参 大规模数据 两点之间的欧式距离
降维，降维就是在保证数据具有的带百姓特性或者分布的情况下，将高维数据转化为低维数据的过程：
数据可视化
精简数据

聚类和降维都是无监督学习的典型任务，任务之间存在着关联，比如某些高位数据的聚类可以通过降维处理更好的获得，另外学界研究也表明代表性的聚类算法如K-means与降维算法之间存在等价性。
降维是机器学习灵位的一个重要研究内容，有很多北工业界和学术界接受的典型算法，截止到目前sklearn库提供7种降维算法。
将为过程中也可以被理解为对数据集的组成成分进行分解的过程，因此sklearn库为降维模快命名为decomposition ，在对降维算法调用需要使用sklearn.decompositon模快。

image.png

算法名称 参数可扩展性 适用任务
PCA 所降维度及其他超参 大规模数据 信号处理
FastICA 所降维度及其他超参 超大规模数据 图形图像特征提取
NMF 所降维度及其他超参 大规模数据 图形图像特征提取
LDA 所降维度及其他超参 大规模数据 文本数据，主题挖掘

哪些是降维任务哪些是聚类任务？

31省市居民家庭消费情况调查表
学生月上网时间分布调查表
人脸图像特征抽取