今天我来聊聊一些深度学习的基础知识，卷积神经网络，我分成两部分讲，一部分是讲讲神经网络，一部分是着重于卷积神经网络。首先说一说神经网络，什么是神经网络，就像我们身体神经元，一层一层传递刺激，最后我们知道我们碰到了什么，看到什么。在深度学习中，我们也可以模仿这种结构，来让计算机做一些理解层次上的事情。

基础神经网络，一个神经元，有输入向量X，就像人体感受到刺激输入一样，然后有权重向量W，偏置量b，激活函数sigmoid。如下图所示：

里面很多参数，你可以理解为从一个输入到我们想得到的目标，矩阵运算的过程

在基础神经网络中，还有一个梯度下降优化，什么叫梯度下降，它有什么用了，这个东西在机器学习中可以用来训练模型参数，打个比方，我们从一堆数据中，想训练一个模型，当一个新的数据来临的时候，我们能预测这个数据是什么。举一个西瓜的例子，比如我们知道了一堆西瓜，每个西瓜的色彩，大小等等特征知道了，同时也知道这些西瓜好不好吃，用这些数据训练一个模型。当一个新的西瓜来的时候我们通过模型来判断新的好不好吃。首先我们假设一个模型，比如一次函数，二次函数，我们需要知道他的参数，这时候就需要将这些数据进行计算，根据假定的模型，做一个预测和真实值的偏差，那么当这个偏差最小的时候的参数，就是我们所要的模型的参数，梯度下降就是用来找最小点的。还有一点很多描述性的特征，我们都要将他换成数字，矩阵，这样才可以拿来运算。下图我给出一个已知三个点，来计算模型参数的过程：

梯度下降，对目标函数（损失函数），也就是预测与真实的差值。

对于卷积神经网络CNN：（我研究的是图像的，所以以图像为例）

它有基本的层：1.卷积层；2.池化层；3.全连接层；4.归一化层

卷积层，输入的图片，如果是RGB的，那就是三个矩阵，卷积在图像中就是相应的位置相乘再相加。

如果输入图像是一个RGB三通道的，那么卷积核就是三维的，卷积核也就是滤波器，用它来和原始图像矩阵做扫描卷积计算

池化层（pool）就是特征融合，用来降维，简单点说就是比如选2X2为一个窗口，选这个窗口的最大值作为输出。但这里的方法并不一定去最大值，也有取平均等等，随情况而定。

原来的4X4的矩阵降维成2X2的

全连接层是一个推理用的，分类用的，等效1X1的卷积，意思就是输入多大，卷积核多大，相当于可以理解为计算一个可能性结果数字。全局感受野，去除了空间信息，因为他的卷积核和输入信息一样。

最后得到1x1xk

归一化层，softmax,这里就是将实数值压缩到（0,1），最后一个全连接层对接你的结果类别的softmax层得到这个输入每个类别的概率，给后面做处理。

下图给出AlexNet网络：

各层在上面有写

文献引用:

Krizhevsky A, Sutskever I, Hinton G E. Imagenet classification with deep convolutional neural networks[C]//Advances in neural information processing systems. 2012: 1097-1105.