先向各位小伙伴道歉,文中可能会出现许多错别字,表达不清楚,病句,标点符号使用不当,图片难看且潦草的情况,必须诚恳地向大家表示:凑合看吧,还能咬我咋的… …
分类:深度学习
语义分割预处理与后处理方法
深度学习发展到现在,各路大神都发展出了各种模型。在深度学习实现过程中最重要的最花时间的应该是数据预处理与后处理,会极大影响最后效果,至于模型,感觉像是拼乐高积木,一个模块一个模块地叠加,拼成最适合自己的模型。 1 数据…
[深度学习技巧]·数据类别不平衡问题处理
数据类别不平衡问题处理 转载地址 1.什么是类别不平衡问题 如果不同类别的训练样例数目稍有差别,通常影响不大,但若差别很大,则会对学习过程造成困扰。例如有998个反例,但是正例只有2个,那么学习方法只需要返回一个永远将新…
representation learning 表示学习
representation learning Review 1 WHAT 2 WHY 3 WHAT MAKES A REPRESENTATION GOOD word embedding 1 Hinton 1986Dis…
Jupyter运行之后没结果,左边只出现In[*]
出现这种就是在某一段代码中卡死了,可能是bug,也可能是跑数据的过程太过复杂导致程序仍在运行中 如果不知道是哪一段的话,就在页面上方的kernel出点击里面的 Restart & Run All,接下来还会停留在…
【深度学习原理】如何利用梯度下降法,寻找损失函数最小值?
梯度下降(Gradient Descent)是用于寻找函数最小值的一种优化算法。我们常常利用梯度下降法来使损失函数Loss function的值尽可能小,即让神经网络的预测值(实际输出)和标签值(预期的输出)尽可能接近。…
为什么“梯度下降法的神经网络容易收敛到局部最优”是个错觉--笔记
一、 我们可能从来没有找到过“局部最优”,更别说全局最优了。 作者:五楼whearer 链接:https://www.zhihu.com/question/68109802/answer/2621…
为什么梯度下降是有效的?
在机器学习的很多模型中都用到了梯度下降法或者基于梯度下降的改进算法,那么究竟梯度下降法是如何保证算法的正确性或者说它是有效的呢?接下来,本文将简单分析这个问题。 1.…
梯度下降学习率的设定策略
发现一篇写的很好的关于学习率的文章 本文转载自卢明冬的博客-梯度下降学习率的设定策略 1.学习率的重要性 1)学习率设置太小,需要花费过多的时间来收敛 2)学习率设置较大,在最小值附近震荡却无法收敛到最小值 3)进入局部…
浅析梯度迭代算法
梯度迭代类算法已成为目前各种领域的主流算法。各种现实中的问题分解抽象成机器可以处理的形式之后,基本都可归类为图像、自然语言处理、决策、时序、强化学习这几种类型,而当今解决这些问题的顶尖算法中,梯度迭代(梯度上升或梯度下降…
卷积神经网络中参数如何计算
在刚刚接触CNN和caffe之后,也对CNN当中的各类layers做了简单的了解。但对于各个层具体是如何进行运算的,其实并不是特别了解。最近调完实验后,下一步就要进行调参和调网络的工作,所以就准备在这个时间深入地了解一下…
以VGG为例,分析深度网络的计算量和参数量
本文原载于https://imlogm.github.io,转载请注明出处~ 摘要:我第一次读到ResNet时,完全不敢相信152层的残差网络,竟然在时间复杂度(计算量)上和16层的VGG是一样大的。当然,对于初学者而言…