预训练模型：prompt
前言
关于预训练模型的prompt这一idea也火了一段时间了，关于这方面的paper和解读也有很多了，结合笔者看的，这里简单总结罗列一下，供后续学习回顾。
应用
其实一切出发点就是适配了预训练任务，我们的预训练任务，基本上标配就是MLM和NSP，尽可能的去适配它，进而取的好效果，其可以解决的问题基本上涵盖了所有nlp任务，分类啊，序列预测啊等等，甚至可以解决小样本学习等等，可以看看工业界prompt的实践：
格局打开，带你解锁 prompt 的花式用法
MLM
当前大部分论文都是围绕预训练任务mlm设计的，比如一些论文：
Prompt范式，真香
NSP
除了MLM，其实预训练还有NSP任务，但是这块论文还没有很多，第一篇创造性的就是：
曾被嫌弃的预训练任务NSP，做出了优秀的Zero Shot效果
UDG
题目：Towards Zero-Label Language Learning
地址：https://arxiv.org/abs/2109.09193
解读：谷歌新大招UDG｜直接生成训练数据送给你
主要创新就是改变了以往努力的点，以前都是根据x设计y,但是这篇paper是根据y生成x,主要应用的领域就是生成数据或者说数据增强，效果还是不错的
Continuous Optimization：从Prefix-tuning到更强大的P-Tuning V2
论文标题：
Prefix-Tuning: Optimizing Continuous Prompts for Generation
论文链接：
https://arxiv.org/abs/2101.00190
代码链接：
https://github.com/XiangLi1999/PrefixTuning
论文标题：
GPT Understands, Too
论文链接：
https://arxiv.org/abs/2103.10385
代码链接：
https://github.com/THUDM/P-tuning
论文标题：
P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
论文链接：
https://arxiv.org/abs/2110.07602
代码链接：
https://github.com/thudm/p-tuning-v2
Continuous Optimization：从Prefix-tuning到更强大的P-Tuning V2
综述
NLP的“第四范式”之Prompt Learning总结：44篇论文逐一梳理
CLIP
多模态中的prompt范式（一）：CLIP
实体预测
论文：Prompt-Learning for Fine-Grained Entity Typing
链接：https://arxiv.org/pdf/2108.10604.pdf
清华提出：用于细粒度实体分类的Prompt-Learning，并提出可训练Prompt模板
综述
一文跟进Prompt进展！综述+15篇最新论文逐一梳理
对比学习+prompt
超越SimCSE两个多点，Prompt+对比学习的文本表示新SOTA
迁移Prompt–解决Prompt Tuning三大问题
迁移Prompt–解决Prompt Tuning三大问题！
ZeroPrompt：首个中文多任务Prompt统一模型，zeroshot性能可比微调！
Prompt Learning-使用模板激发语言模型潜能
总结
这块idea总的来说比较巧，实际使用过程中，能否找到很好的设计模版是最重要的，当没有别的优化思路的时候，或许是一条出路。
欢迎关注笔者微信公众号
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！