其实就是在一大堆数据里选一个符合条件的了。 比如max pooling,就是在n-by-n的格子里选一个最大的。 而average也差不多,就是平均一下。 一般来说就是对你前一步得到的卷积map做降采样。降采样的目的1.…
标签:深度学习
关于feature map, 神经元个数,可训练参数个数, 卷积核大小 的一些总结
参考这个文章的部分笔记和理解: http://blog.csdn.net/dcxhun3/article/details/46878999 输入input: 32 x 32 的图像 使用: &nbs…
学习笔记TF065:TensorFlowOnSpark
Hadoop生态大数据系统分为Yam、 HDFS、MapReduce计算框架。TensorFlow分布式相当于MapReduce计算框架,Kubernetes相当于Yam调度系统。TensorFlowOnSpark,利用…
信息论(二):随机变量的信息度量
1.信息与信源 信源发出的消息在未收到前是不确定的随机过程,可以用随机变量描述,或者说用一个样本空间及其概率测度来描述信源。信源分为离散信源和连续信源。 离散信源:可用离散型随机变量来表示,信源常记作:$X = \{x_…
学习笔记DL006:特征分解,奇异值分解
特征分解。 整数分解质因素。 特征分解(eigendecomposition),使用最广,矩阵分解一组特征向量、特征值。方阵?的特征向量(eigenvector),与?相乘相当对该向量缩放非零向量?,??=λ?。标量λ为…
常用神经网络的分类
KNN DNN SVM DL BP DBN RBF CNN RNN ANN 概述 本文主要介绍了当前常用的神经网络,这些神经网络主要有哪些用途,以及各种神经网络的优点和局限性。 1 BP神经网络 BP (Back Pro…
提高泛化能力/减轻过拟合
Loss层面: 做Regularization/加入Weight_Decay Data层面: 做Data_Augumentation Net层面: 加入Dropout 使用BatchNorm(加速收敛、提高泛化能力、优化…
学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退
AI早期成就,相对朴素形式化环境,不要求世界知识。如IBM深蓝(Deep Blue)国际象棋系统,1997,击败世界冠军Garry Kasparov(Hsu,2002)。国际象棋,简单领域,64个位置,严格限制方式移动3…
两个3*3的卷积核替代5*5(三个3*3卷积核替代7*7)分析
文章目录 为什么一个5×5的卷积核可以用两个3×3的卷积核来替代 一个5*5卷积 两个3*3卷积核 为什么一个7×7的卷积核可以用三个个3×3的卷积核来替代 一个7*7卷积 三个3…
Tensorflow快餐教程(3)- 向量
摘要: Tensorflow向量操作 向量 向量在编程语言中就是最常用的一维数组。二维数组叫做矩阵,三维以上叫做张量。 向量虽然简单,高效,且容易理解。但是与操作0维的标量数据毕竟还是不同的。比如向量经常用于表示一个序列…
Windows下编译Caffe并编译Matlab接口
介绍: Caffe是一个深度学习的框架,在windows下编译Caffe。实际上Linux下会更舒服,由于我的Linux下安装不了CUDA,只能用CPU跑,很慢,于是决定在windows环境下配置caffe及其matla…
学习笔记DL003:神经网络第二、三次浪潮,数据量、模型规模,精度、复杂度,对现实世界冲击
神经科学,依靠单一深度学习算法解决不同任务。视觉信号传送到听觉区域,大脑听学习处理区域学会“看”(Von Melchner et al., 2000)。计算单元互相作用变智能。新认知机(Fukushima,1980),哺…