预训练笔记
一、 预训练语言模型有哪些类别：
主要分为如下五类
- Autoregressive Models，自回归语言模型：代表为 GPT，主要用于生成式任务；
- AutoEncoding Models，自编码语言模型：代表为 BERT，主要用于自然语言理解任务；
- Seq-to-seq Models，端到端语言模型：代表为 BART、MASS，即序列到序列的结构，模型同时包含 Encoder 和 Decoder 结构，主要用于基于条件的生成式任务，如机器翻译、自动摘要生成等；
- MultiModal Models：即多模态模型；
- retrieval-based Models：基于召回的语言模型，主要用于开放域问答任务；
参考文献：
- https://blog.csdn.net/sinat_32332805/article/details/122429599
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！