深度前馈网络

深度前馈网络

• • • 1、前言
    • 2、输出单元
    • • 2.1 用于高斯输出分布的线性单元
      • 2.2 用于Bernoulli输出分布的sigmoid单元
      • 2.3 用于Multinoulli输出分布的softmax单元
    • 3、隐藏单元
    • 5、结构设计
    • 6、BP及其他微分算法

1、前言

深度前馈网络（deep feedforward network）是典型的深度学习模型。这种模型被称为前向的，是因为信息流过x的函数，流经用于定义f的中间计算过程，最终到达输出y。在模型的输出和模型本身之间没有反馈链接。当前馈神经网络被扩展成包含反馈连接时，它们被称为循环神经网络。
对于前馈神经网络，将所有的权重值初始话为小随机数是很重要的。偏置可以初始化为0或者小的正值。

2、输出单元

2.1 用于高斯输出分布的线性单元

一种简单的输出单元是基于仿射变换的输出单元，放射变换不带有非线性。这些单元往往被直接称为线性单元。
给定特征h，线性输出单元层产生一个向量 y ˉ = W T h + b \bar{y}=W^Th+b yˉ​=WTh+b。
线性输出层经常被用来产生条件高斯分布均值。

2.2 用于Bernoulli输出分布的sigmoid单元

许多任务需要预测二值型变量y的值。具有两个类的分类问题可以归结为这种形式。此时最大似然的方法是定义y在x条件下的Bernoulli分布。
sigmoid输出单元定义为
y ˉ = σ ( w T h + b ) \bar{y}=\sigma{(w^Th+b)} yˉ​=

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！