【深度学习基础-07】神经网络算法（Neural Network）上--BP神经网络基础理论

2019年3月20日 185次阅读来源: 神经网络算法

1 起源

以人脑中的神经网络为启发，出现过不同的版本

最著名的算法是1980年的BP神经网络（Backpropagation）

2 多层向前神经网络（Multilayer Feed-Forward Neural Network）

2.1 BP神经网络被使用在多层向前神经网络
2.2 多层向前神经网络包含以下部分：
输入层input layer 隐藏层 hidden layer 输出层 output layer
2.3 每层由单元units组成
2.4 输入层是由训练集的实例特征向量传入
2.5 经过连接点的权重weight传入到下一层，上一层的输入是下一层的输入
2.6 隐藏层的个数可以是任意的，输入层只有一层，输出层只有一层
2.7 每个单元unit也可以称为神经结点
2.8 神经网络有几层？除了输入层那一层的个数就是几层
2.9 一层中加权求和，然后根据非线性方程转化输出
2.10 多层向前神经网络，理论上，如果有足够多的隐藏层和足够大的训练集，可以模拟出任何方程。

3 设计神经网络

3.1 在使用神经网络训练数据之前，必须确定层数，以及每层单元的个数
3.2 特征向量在被传入输入层时通常先标准化到0到1之间，为了加速学习过程
3.3 离散型变量可以被编码成每一个输入单元对应一个可能的特征值
比如，A可能取值有3种情况，a0,a1,a2，那么在输入层时，就设置3个神经单元
如果A=a0，则输入为1,0,0，这三个单元如此设定
A=a1，则三个单元设定0,1,0。同理以此类推
3.4 神经网络可以用作分类问题，也可以表示回归问题
输出单元个数：如果是两类，那么输入单元只需要用1个单元就行
如果是多于2类，每个单元代表一个类
通常输出层数量等于类数
没有明确的规则来设计有多少个隐藏从，根据测试和误差、准确度来实验并改进