论文阅读【6】RRN:LSTM论文阅读报告(2)

1.多层RNN（Stacked RNN）

这里一共建立三层RNN第一层的输出作为第二层的输入，第二层的输出作为第三层的输入，第三层的输出则作为最终的输出。就类似于多层CNN一样，都可以多层计算，最后一层的最后一个输出是最能代表这这一段字符的语义的。

2.双向RNN

人类阅读习惯总是喜欢从前往后阅读，阅读完一段电影评论之后，就能判断出这段电影评论所带有的情感色彩，但是这只是人类的一种阅读习惯而已，但是人类也可以从后往前阅读，这也许就是我们所说得“倒背如流”吧，因此双向RNN就此诞生了。

两个RNN不共享参数不共享状态，两个RNN各自输出自己的状态向量，然后将两个状态向量做concatenation，如果有多层RNN就可以将最上面一层的输出作为下一层的输入，如果只有这两层，直接把最后的两个状态 h t h_t ht​和 h t ′ h'_t ht′​做concatenation输入即可。比如做情感分析的时候就只要输出 h t h_t ht​和 h t ′ h'_t ht′​即可，如果是做命名实体识别就需要将每个状态全部输出。
双向RNN的效果总是比单向RNN的效果要好，因为单向RNN会把最左边的信息渐渐遗忘，而双向RNN分别记录最左边的信息和最右边的信息，然后2者进行结合输出的信息是最完善的。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！