[算法前沿]--017-中文大模型ChatGLM微调：P-Tuning,deepspeed,LoRA＜中＞
文章目录
- 1. ChatGLM模型介绍
- 2. 基于 P-Tuningv2的高效参数微调方法
- 2.1 环境配置
- 2.3 P-TuningV2 教程
- 2.3.1 训练
- 2.3.1.1 P-Tuning v2
- 2.3.1.2 Finetune
- 2.3.1.3 LoRA
- 2.3.2 推理
- 2.3.2.1 示例1
- 2.3.2.2 示例2
- 2.3.3 评估结果
1. ChatGLM模型介绍
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！