GPT-4 / ChatGPT 解读3---没有前置的任务分类模型

没有一个前置的意图识别任务分类小模型，看下论文，

Training_language_models_to_follow_instructions_with_human_feedback.pdf

里面从26页到30页有真实训练数据示例，看了就懂了：

想办法把训练数据都处理成GPT式的文本生成式的格式，意图分类就‘内置’在prompt里了。

GPT这种decoder-only transformer可以实现pre-train和fine-tune的一致性，

这里一致性就是指的，pre-train时的模型输入输出的数据格式 和 fine-tune时的模型输入输出的数据格式 完全一样，同时pre-train的代码和fine-tune的代码也都几乎一样，

举例pre-train时的伪代码：
sentence_concat_next_sentence.make_labels()
gpt_model.fit(sentence_concat_next_sentence)

然后fine-tune时的伪代码：
question_concat_answer.make_labels()
gpt_model.fit(question_concat_answer)

所以这样最大化利用了大规模预训练的基础“知识库”。

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！