直播 | ACL 2021论文解读：表征与结构兼备，结构化语言模型R2D2

「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到蚂蚁金服胡翔，为大家在线解读其发表在 ACL 2021 的最新研究成果：R2D2: Recursive Transformer based on Differentiable Tree for Interpretable Hierarchical Language Modeling。对本期主题感兴趣的小伙伴，8 月 24 日（周二）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

结构化语言模型一直是自然理解领域一个非常重要的基础研究领域。语言学理论提出人类语言具有层次性，结构性，大量学术工作也论证了具备语义结构的模型具备更好的下游泛化能力。但是长期以来，伴随着 LSTM, ELMO, BERT 等一系列顺序堆层模型的进步，结构化语言模型一直处在陪跑地位。Stanford, Google, DeepMind 等先后在结构化语言模型任务上做出过重要工作，但要么只能预测结构，编码能力不强，亦或编码能力尚可，预测的结构不理想。

本工作结合基于 CKY 编码的可导二叉树编码器，提出一种新颖的结构化语言模型架构 R2D2，可以在表征能力超越同参数量 Sequential Transformer 外，还能在无监督结构预测任务上与专为结构预测设计的模型相匹敌。以目前我们有限的知识而言，R2D2 是世界上第一个做到在文本表征及无监督结构预测两个任务达到 SOTA 级别的结构化语言模型。 

论文链接：

https://aclanthology.org/2021.acl-long.379/

代码链接：

https://github.com/alipay/StructuredLM_RTDT

本次分享的具体内容有： 

• 关于 NLP 深度学习模型现状的思考

• Motivation：我们认为理想的语言模型所具备的特质

• 前置工作：CKY based encoding

• 方法：R2D2工作介绍

• 实验结果

• 论文中所看不到的各种失败实验

• 未来工作/总结

嘉宾介绍

 胡翔 / 上海交通大学硕士 

胡翔，本硕就读于上海交通大学，目前就职于蚂蚁金服。非 NLP 科班背景，凭兴趣爱好自学研究。主要研究兴趣为结构化语言模型及认知推理，工作先后在 COLING, ACL 等国际会议上发表。

直播地址 & 交流群

本次直播将在 PaperWeekly 视频号和 B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！