什么是神经网络？先上一张图

图片发自简书App

可以看到神经网络和感知机很像，它由一个输入层、一个输出层和多个隐藏层组成，输入层的神经元对应于感知机的输入，输出层对应于感知机的输出，隐藏层对应于感知机的叠加，它即是上一个感知机的输出，又是下一个感知机的输入。

我们把感知机改造一下，变成下面的形式：
图片发自简书App

从图中可以看出感知机的输出可以分成两步：

1. a = w1 * x1 + w2 * x2 + b
2. y = h(a)

h(a)就是激活函数，在感知机里面， y要么是0，要么是1， h(a)一般被称为阶跃函数。

而在神经网络里面，激活函数比较常用的是sigmoid函数，它的定义如下：

h(a) = 1 / (1 – exp(-x))

如果我们把它画在坐标轴上，它长这样：

图片发自简书App

它和阶跃函数（图中的虚线部分）的区别在于，它把任意一个数变成了0到1之间的一个数。

如果我们把神经网络想象成一个电路，输入 x想象成输入电流，那么感知机就像一个电流开关，它要么让电流通过，要么不让电流通过。使用，它要么让电流通过，要么不让电流通过。使用sigmoid的神经网络就像一个电流调节器，它可以调整电量的大小。