吴恩达【深度学习工程师】学习笔记（六）

2023-08-26 20:11:23

吴恩达【深度学习工程师】专项课程包含以下五门课程：

1、神经网络和深度学习；
2、改善深层神经网络：超参数调试、正则化以及优化；
3、结构化机器学习项目；
4、卷积神经网络；
5、序列模型。

今天介绍《改善深层神经网络：超参数调试、正则化以及优化》系列第一讲：深度学习的实用层面。

主要内容： 1、训练/开发/测试集;

2、偏差/方差;

3、常用的几种正则化方法;

4、梯度消失和梯度爆炸.

1、训练/开发/测试集

一般地，我们将所有的样本数据分成三个部分：训练/开发/测试集。训练集用来训练算法模型；开发集用来验证算法的表现；测试集用来测试算法的实际表现，作为该算法的无偏估计。

1）、机器学习中，由于样本量小（例如：10000个样本），通常设置训练/开发/测试集的比例为：60%、20%、20% 或者 70%、0%、30% 较为合理。

2）、深度学习中，由于样本量超大（例如：10 000 000个样本），通常设置训练/开发/测试集的比例为：98%、1%、1% 或者 99%、0.5%、0.5%较为合理 。

在深度学习中，务必保障训练集/开发集/测试集来自于同一数据分布。

如果没有测试集也是可以的。测试集的主要目标是进行无偏估计。我们可以通过训练集训练不同的算法模型，然后分别在开发集上进行验证，根据结果选择最好的算法模型。

2、偏差/方差

在机器学习算法中，偏差和方差对应着欠拟合和过拟合，是对立的，我们常常需要在偏差和方差之间进行权衡。

而在深度学习中，我们可以同时减小偏差和方差，构建最佳神经网络模型。

这里写图片描述

在深度学习中，我们可以通过两个数值：训练集error和开发集error来理解偏差和方差。

1）、训练集error为1%，而开发集error为6%，说明该模型对训练样本可能存在过拟合，模型泛化能力不强，是高方差的表现；

2）、训练集error为5%，而开发集error为6%，说明该模型对训练样本存在欠拟合，是高偏差的表现；

3）、训练集error为5%，而开发集 error为10%，说明模型既存在高偏差也存在高方差（可以理解成部分欠拟合，部分过拟合）；

4）、假设训练集error为0.5%，而开发error为1%，即低偏差和低方差，是最理想的情况。

深度学习中最重要的一个问题就是避免出现高偏差和高方差。

1）、减少高偏差的常用方法是增加神经网络的隐层数、神经元数，延长训练时间，增加模型复杂度等。

2）、减少高方差的常用方法是增加训练样本量，加大正则化程度，增加模型复杂度等。

3、L2正则化

在深度学习模型中，L2 正则化的表达式为：

J(w[1],b[1],⋯,w[L],b[L])=1m∑i=1mL(y^(i),y(i))+λ2m∑l=1L||w[l]||2

||w[l]||2=∑i=1n[l]∑j=1n[l−1](w[l]ij)2

通常，我们把 ||w[l]||2 称为Frobenius范数，记为 ||w[l]||2F 。一个矩阵的Frobenius范数就是计算所有元素平方和再开方，如下所示：

||A||F=∑i=1m∑j=1n|aij|2−−−−−−−−−−
⎷

|

由于加入了正则化项，梯度下降算法中的 dw[l] 计算表达式要做如下修改：

dw[l]=dw[l]before+λmw[l]

w[l]:=w[l]−α⋅dw[l]

L2 正则化也被称做权重衰减。这是因为，由于加上了正则项， dw[l] 有个增量，在更新 w[l] 的时候，会多减去这个增量，使得 w[l] 比没有正则项的值要小一些。不断迭代更新，不断地减小。

w[l]:===w[l]−α⋅dw[l]w[l]−α⋅(dw[l]before+λmw[l])(1−αλm)w[l]−α⋅dw[l]before

其中， (1−αλm)<1 。

为什么正则化能够有效避免高方差，防止过拟合呢？

如下图所示为一个4层神经网络对应的三种不同模型 （高偏差/最佳/高方差）：

这里写图片描述

在未使用正则化的情况下，我们得到的分类超平面可能是类似上图右侧的过拟合。但是，如果使用L2 正则化，当 λ 很大时， w[l]≈0 。 w[l] 近似为零，意味着该神经网络模型中的某些神经元实际作用很小，可以忽略。等同于将某些神经元给忽略掉了。这样原本过于复杂的神经网络模型就变得非常简单了。如下图所示，整个简化的神经网络模型变成了一个逻辑回归模型。问题就从高方差变成了高偏差了。

这里写图片描述

因此，选择合适的 λ 值，就能够同时避免高偏差和高方差，得到最佳模型。

4、Dropout正则化

Dropout通过每次迭代训练时，随机选择不同的神经元，相当于每次都在不同的神经网络上进行训练，类似机器学习中Bagging的方法，能够防止过拟合。

对于某个神经元来说，某次训练时，它的某些输入在dropout的作用被过滤了。而在下一次训练时，又有不同的某些输入被过滤。经过多次训练后，某些输入被过滤，某些输入被保留。这样，该神经元就不会受某个输入非常大的影响，影响被均匀化了。也就是说，对应的权重w不会很大。这从从效果上来说，与L2 regularization是类似的，都是对权重w进行“惩罚”，减小了w的值。

Dropout每次丢掉一定数量的隐藏层神经元，相当于在不同的神经网络上进行训练，这样就减少了神经元之间的依赖性，即每个神经元不能依赖于某几个其他的神经元（指层与层之间相连接的神经元），使神经网络更加能学习到与其他神经元之间的更加健壮robust的特征。

需要注意的是，训练阶段才会使用dropout，测试和实际应用阶段不能进行dropout。

在使用dropout的时候，不同隐藏层的dropout系数keep_prob可以不同。一般来说，神经元越多的隐藏层，keep_out可以设置得小一些.，例如0.5；神经元越少的隐藏层，keep_out可以设置的大一些，例如0.8，设置是1。实际应用中，不建议对输入层进行dropout。

5、其他正则化方法

一种方法是增加训练样本数量。但是通常成本较高，难以获得额外的训练样本。

我们可以对已有的训练样本进行一些处理来“制造”出更多的样本，称为data augmentation。例如图片识别问题中，可以对已有的图片进行水平翻转、垂直翻转、任意角度旋转、缩放或扩大等等。

如下图所示，这些处理都能“制造”出新的训练样本。虽然这些是基于原有样本的，但是对增大训练样本数量还是有很有帮助的，不需要增加额外成本，却能起到防止过拟合的效果。

这里写图片描述

还有一种方法是early stopping。一个神经网络模型随着迭代训练次数增加，训练集error一般是单调减小的，而开发集error 先减小，之后又增大。即随着训练次数的增多，模型会对训练样本拟合的越来越好，但是对验证集拟合效果逐渐变差，即发生了过拟合。因此，迭代训练次数不是越多越好，可以通过训练集error和开发集error随着迭代次数的变化趋势，选择合适的迭代次数。

这里写图片描述

6、正则化输入

在训练神经网络时，标准化输入可以提高训练的速度。标准化输入就是对训练数据集进行归一化的操作，即将原始数据减去其均值 μ 后，再除以其方差 σ2

μ=1m∑i=1mX(i)

σ2=1m∑i=1m(X(i))2

X:=X−μσ2 以二维平面为例，下图展示了其归一化过程：

这里写图片描述

由于训练集进行了标准化处理，那么对于测试集或在实际应用时，应该使用同样的 μ 和 σ2 对其进行标准化处理。这样保证了训练集合测试集的标准化操作一致。

之所以要对输入进行标准化操作，主要是为了让所有输入归一化同样的尺度上，方便进行梯度下降算法时能够更快更准确地找到全局最优解。假如输入特征是二维的，且x1的范围是[1,1000]，x2的范围是[0,1]。如果不进行标准化处理，x1与x2之间分布极不平衡，训练得到的w1和w2也会在数量级上差别很大。这样导致的结果是代价函数与w和b的关系可能是一个非常细长的椭圆形碗。对其进行梯度下降算法时，由于w1和w2数值差异很大，只能选择很小的学习因子 α ，来避免J发生振荡。一旦 α 较大，必然发生振荡，J不再单调下降。

如果进行了标准化操作，x1与x2分布均匀，w1和w2数值差别不大，得到的代价函数与w和b的关系是类似圆形碗。对其进行梯度下降算法时， α 可以选择相对大一些，且J一般不会发生振荡，保证了J是单调下降的。如下右图所示。

这里写图片描述

7、梯度消失和梯度爆炸

当训练一个 隐层非常多的神经网络时，计算得到的梯度值可能非常小或非常大。

如下图所示：

这里写图片描述

为了便于分析，我们令各层的激活函数为线性函数，即 g(Z)=Z 。且忽略各层常数项b的影响，令b全部为零。那么，该网络的预测输出 Y^ 为：

Y^=W[L]W[L−1]W[L−2]⋯W[3]W[2]W[1]X

如果各层权重 W[l] 的元素都稍大于1，例如1.5，则预测输出 Y^ 将正比于 1.5L 。L越大， Y^ 越大，且呈指数型增长。我们称之为数值爆炸。相反，如果各层权重 W[l] 的元素都稍小于1，例如0.5，则预测输出 Y^ 将正比于 0.5L 。网络层数L越多， Y^ 呈指数型减小。我们称之为数值消失。

改善梯度消失或梯度爆炸的方法是：对权重w进行一些初始化处理。

深度神经网络模型中，以单个神经元为例，该层（ l ）的输入个数为n，其输出为：

z=w1x1+w2x2+⋯+wnxn

a=g(z)

这里写图片描述

这里忽略了常数项b。为了让z不会过大或者过小，思路是让w与n有关，且n越大，w应该越小才好。这样能够保证z不会过大。一种方法是在初始化w时，令其方差为 1n 。相应的python伪代码为：

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(1/n[l-1]) 
  • 1
如果激活函数是tanh，一般选择上面的初始化方法。

如果激活函数是ReLU，权重w的初始化一般令其方差为 2n ：

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/n[l-1]) 
  • 1
除此之外，Yoshua Bengio提出了另外一种初始化w的方法，令其方差为 2n[l−1]n[l] ：

w[l] = np.random.randn(n[l],n[l-1])*np.sqrt(2/n[l-1]*n[l]) 
  • 1
至于选择哪种初始化方法因人而异，可以根据不同的激活函数选择不同方法。

8、梯度检查

反向传播神经网络有一项重要的测试是梯度检查（gradient checking）。目的是检查验证反向传播过程中梯度下降算法是否正确。

这里写图片描述

利用微分思想，函数f在点 θ 处的梯度可以表示成：

g(θ)=f(θ+ε)−f(θ−ε)2ε

其中， ε>0 ，且足够小。

梯度检查首先要做的是分别将 W[1],b[1],⋯,W[L],b[L] 这些矩阵构造成一维向量，然后将这些一维向量组合起来构成一个更大的一维向量 θ 。这样cost function  J(W[1],b[1],⋯,W[L],b[L]) 就可以表示成 J(θ) 。

然后将反向传播过程通过梯度下降算法得到的 dW[1],db[1],⋯,dW[L],db[L] 按照一样的顺序构造成一个一维向量 dθ 。 dθ 的维度与 θ 一致。

接着利用 J(θ) 对每个 θi 计算近似梯度，其值与反向传播算法得到的 dθi 相比较，检查是否一致。例如，对于第i个元素，近似梯度为：

dθapprox[i]=J(θ1,θ2,⋯,θi+ε,⋯)−J(θ1,θ2,⋯,θi−ε,⋯)2ε

计算完所有 θi 的近似梯度后，可以计算 dθapprox 与 dθ 的欧氏（Euclidean）距离来比较二者的相似度。公式如下：

||dθapprox−dθ||2||dθapprox||2+||dθ||2

一般来说，如果欧氏距离越小，例如 10−7 ，甚至更小，则表明 dθapprox 与 dθ 越接近，即反向梯度计算是正确的。如果欧氏距离较大，例如 10−5 ，则表明梯度计算可能出现问题，需要再次检查是否有bug存在。

在进行梯度检查的过程中有几点需要注意的地方：

  • 不要在整个训练过程中都进行梯度检查，仅仅作为debug使用。

  • 如果梯度检查出现错误，找到对应出错的梯度，检查其推导是否出现错误。

  • 注意不要忽略正则化项，计算近似梯度的时候要包括进去。

  • 梯度检查时关闭dropout，检查完毕后再打开dropout。

  • 随机初始化时运行梯度检查，经过一些训练后再进行梯度检查（不常用）。


    • 本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！

    相关文章

    Duilib中list控件支持ctrl和shif多行选中的实现

    [ICML2015]Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shif

    win10系统 微软输入法 于eclipse ctrl+shif+f冲突间接处理办法

    Codeforces Round #259 (Div. 2) B. Little Pony and Sort by Shif

    读LDD3，内存映射与DMA--PAGE_SHIF…

    VMware虚拟机安装XP【要先分区，再设置BOOT 启动CD，shif+上移】

    更换iBus五笔的左与右Shif

    sublime ctrl+shif+f 没用解决办法

    idea 对 ctrl + z 的撤销 是 ctrl + shif + z

    计算机最早的设计师应用于,计算机应用基础选择题doc.doc

    win10自带截图神器：Win+Shift+S

    Python基础之文件目录操作

    python简述目录_Python基础之文件目录操作(示例代码)

    tp5 如何做数据采集

    任务2-7(服务器字体+阿里巴巴矢量库)

    html标签（1)：h1~h6,p,br,pre,hr

    TI 电量计介绍与芯片选型指南

    几款TI电源芯片简介

    TI DSP芯片C2000系列读取FLASH数据

    德州仪器(Ti)平台嵌入式开发基础

    TI三相电机智能栅极驱动芯片特点分类

    省选模拟（12.08） T3 圈圈圈圈圈圈圈圈

    Hadoop生态圈技术栈（上）

    大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之6.Impala交互式查询

    小猿圈之Linux下Mysql 操作命令

    大数据Hadoop生态圈常用面试题

    大数据开发基础入门与项目实战（三）Hadoop核心及生态圈技术栈之4.Hive DDL、DQL和数据操作

    备战Noip2018模拟赛11（B组）T3 Monogatari 物语

    【智能优化算法-圆圈搜索算法】基于圆圈搜索算法Circle Search Algorithm求解单目标优化问题附matlab代码

    NYOJ 78 圈水池

    递归问题 跑道 汽车 绕圈问题 Python实现

    Hadoop生态圈（三）：MapReduce

    立即
    投稿

    微信公众账号

    微信扫一扫加关注

     返回
    顶部