【论文阅读】From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression
本文目录
- 论文信息
- 1. 研究背景
- 2. 方法
- 基于对比学习的剪枝框架
- 补充：对比学习
- 如何应用对比学习?
- PrC
- 额外的内存开销
- 将CAP框架应用于不同的剪枝方法中：
- 3. 实验
- 实验设置
- 实验结果：
- 1）通过CAP移除模型大部分的参数，依然取得可比的效果
- 2）CAP对于不同的剪枝方法，都能带来有效的提升
- 3）CAP对比其他剪枝优化方法有明显的优势
- 4）CAP对比蒸馏方法也有优势
- 5）CAP提高模型的泛化性能
- 6）消融实验
- 7）不同裁剪比例下的模型表现
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！