关注微信公众号【Microstrong】,我现在研究方向是机器学习、深度学习,分享我在学习过程中的读书笔记!一起来学习,一起来交流,一起来进步吧! 本文同步更新在我的微信公众号里,地址:https://mp.weixin…
分类:机器学习
机器学习-牛顿迭代法原理和公式推导
机器学习的本质是建立优化模型,通过优化方法,不断迭代参数向量,找到使目标函数最优的参数向量,最终建立模型。但是在机器学习的参数优化过程中,很多函数是非常…
对梯度下降算法的简要理解
1.概念 梯度下降是干什么的? 它的主要目的就是通过迭代找到目标函数的最小值。 2.梯度下降算法的基本思想 2.1场景假设 我们从一个下山的场景先来理解一下梯度下降算法的基本思想: 假设这样一个场景:一个人被困在山上,需…
python:numpy的corrcoef计算相关系数
corrcoef(x, y=None, rowvar=True, bias=np._NoValue, ddof=np._NoValue) 函数常用的是前三个参数,x和y分别是需要计算相关系数的两个随机变量,当rowvar…
通俗解释协方差与相关系数
个人网站:redstonewill.com 什么是协方差(Covariance)? 协方差表示的是两个变量的总体的误差,这与只表示一个变量误差的方差不同。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值…
无理数平方根计算_如何找到数字的平方根并手动计算
无理数平方根计算 At times, in everyday situations, we may face the task of having to figure the square root of a numbe…
决策树(ID3、C4.5与CART)——从信息增益、信息增益率到基尼系数
目录 一、决策树 二、区别 三、ID3 1、信息熵与条件信息熵 2、信息增益(IG,information gain) 3、生成步骤 四、C4.5 1、信息增益率 2、连续特征 3、缺失值 4、正则化 5、总结 五、CA…
机器学习---熵,信息增益,信息增益率
熵 熵在信息论中被用来度量信息量,熵越大,所含的有用信息越多,其不确定性也就越大;熵越小,有用信息越少,确定性也就越大。 决策树中,用熵来表示样本集的不纯度,样本集中样本种类越小,确定性越高,熵值越小;样本种类越多,越不…
信息增益和信息增益率
信息增益偏向取值较多的特征。(极端情况,把序号当做特征) 信息增益率偏向取值较少的特征。 C4.5 找出信息增益高于平均水平的特征,然在在这些特征中再选择信息增益率最高的特征。
【机器学习】决策树特征选择准则 信息增益、信息增益率、基尼系数的计算及其python实现
索引 1.问题引入 2.信息增益 1.计算公式: 2.实例计算: 3.信息增益率 1.计算公式: 2.实例计算: 4.基尼系数 1.计算公式: 2.实例计算: 5.参考文献 6.python代码 1.问题引入 首先,我们…
基于信息增益率的决策树特征选择算法(C4.5)及其python实现
基于信息增益率的决策树算法(C4.5)及其python实现 信息增益率 信息增益可以很好的度量特征信息量,但却在某些情况下有一些弊端,举一个例子说明。 比如对于编号这个特征,我们知道一般编号值都是各不相同的,因此有多少个…
熵、信息增益、信息增益率
一、熵 (1)原理 初中物理我们对“熵”这个东西懵懵懂懂,印象中仿佛对物体内部的热效应有关,时隔这么多年在机器学习、深度学习领域的学习中又看见了它的踪影,不免有点让人有点熟悉又陌生的感觉。“熵”这个东西看不见又摸不着,到…