神经网络(NN),也被称为人工神经网络(ANN),是机器学习领域中学习算法的子集,大体上借鉴了生物神经网络的概念。目前,神经网络在计算机视觉、自然语言处理等领域应用广泛。德国资深机器学习专家Andrey Bulezyuk说到,“神经网络正在彻底改变机器学习,因为它们能够有效地模拟各种学科和行业的复杂抽象,且无需太多人工参与。”
大体上,人工神经网络基本包含以下组件:
- 接收数据并传递数据的输入层(input layer);
- 隐藏层(hidden layer);
- 输出层(output layer);
- 层与层之间的权重(weight);
- 每个隐藏层使用的激活函数(activation function);
在本文教程中,使用的是简单的Sigmoid激活函数,但注意一点,在深层神经网络模型中, sigmoid激活函数一般不作