deep learning notes 1：初始化

2019年5月5日 180次阅读 来源: zqh_zy

Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization

决定每周抽时间听听deeplearning.ai的课程，课程比较系统，有选择的跳过，顺道记录一下get到的关键点。

第一周

该部分主要包括两大块：

  • 优化的第一步准备
    • 归一化输入
    • 梯度消失和梯度爆炸
    • 权重初始化技巧
    • 梯度检验实现技巧
  • 正则化
    • 正则化原理
    • dropout
    • 其他正则化技巧
初始化网络
归一化输入

在将输入直接作为神经网络输入之前，对其进行归一化操作，可以加快训练过程：

《deep learning notes 1：初始化》 normal_input

以二维特征举例，每次优化J，寻找梯度最大的方向，如果输入的两个特征规模差别太大，并不是直接朝向最优解，而是更加曲折；相反，如果输入特征规模一致或接近，梯度下降的最大方向更直接走向最优解。

梯度爆炸和梯度消失

如果不能很好选择初始权重或者激活函数，容易出现梯度爆炸或梯度消失。

《deep learning notes 1：初始化》 grad_exploding

图示，假设不使用激活函数，计L层神经网络。

[图片上传失败…(image-b5768c-1529497939486)]

如果W初始化为

《deep learning notes 1：初始化》 matrix1

，x经过L次阶乘，得到的结果会指数级增长，得到很大的y；相反如果W初始化为

《deep learning notes 1：初始化》 matrix2

，x会指数级减小，最终得到很小的y。同样的，在反向传播的过程中，梯度也会以相同的方式指数级升高或减小，造成梯度爆炸或消失，实现过程中出现数值的上溢或下溢。

解决或减轻上面的问题有一些方法：

  • 随机初始化权重，打破权重的平衡
  • 使用非线性的激活函数，如ReLu。
  • clips gradients（设置梯度阈值，针对梯度爆炸）
  • 循环神经网络中的LSTM（也会有解决梯度消失的效果）
初始化权重

下面来看初始化权重对梯度优化的影响，事实证明简单随机初始化权重并不是最好选择：

《deep learning notes 1：初始化》 inital_weight

随着l层单元的个数的增大，我们希望该层的权重相应的小，由此使l+1层的单元输出不至于很大。因此有了He initialization：随机初始化权重：np.random.randn(..,..) 乘上

《deep learning notes 1：初始化》 scale

，使随机初始的权重随上层单元的维度降低。

初始化权重实验：

该部分通过不同方式的初始化，观察训练的过程：

  • 初始为全0权重
  • 高斯分布初始权重，乘10
  • He initialization

1、全0初始化权重：

for l in range(1, L):
        parameters['W' + str(l)] = np.zeros((layers_dims[l], layers_dims[l-1]))
        parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

训练曲线：

《deep learning notes 1：初始化》 learn_rate

2、高斯分布初始权重（均值为0，方差为1），乘10：

for l in range(1, L):
     parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * 10
     parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

由于W的权重随机初始化，已经打破了权重的平衡，b可以初始化为0.

训练曲线:

《deep learning notes 1：初始化》 learn_rate2

过大的初始权重导致训练效果不佳。

3、He initialization

for l in range(1, L + 1):
     parameters['W' + str(l)] = np.random.randn(layers_dims[l], layers_dims[l-1]) * math.sqrt(2./layers_dims[l-1])
     parameters['b' + str(l)] = np.zeros((layers_dims[l], 1))

训练曲线：

《deep learning notes 1：初始化》 learn_rate3

相同的迭代次数，He initialization的到了很好的效果。

实验小结：

  • 不同的初始化会得到不同结果
  • 随机初始化能打破权重平衡，确保所有的隐层学到不同的东西
  • 不要随机初始化过高权重
  • He initialization 非常适合 ReLU
小结

这里只总结了第一周的第一部分。试听了一周，觉得课程还是和之前的机器学习课程风格一致，用简单的公式和例子讲述模型背后的原理，良心作品。虽然对课程内容已经有所了解，但还是想系统的听一遍。

原创文章， 转载注明出处
更多关注公众号：

《deep learning notes 1：初始化》 wechat

    原文作者：zqh_zy
    原文地址: https://www.jianshu.com/p/8ae0f02292d1
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞