MAE简记
MAE简记
文章目录
- MAE简记
- Mask 方法
- Encoder
- Decoder
- Target & LOSS
Mask 方法
- 将图片分割成不重复的正方形patch，遮挡其中一部分patch(75%)
Encoder
- 采用ViT，但是只对可见的没有被masked的patch使用
Decoder
- 以encoder的输出+masked的patch作为输入，想要恢复原本的图像
- 解码器也是用一系列的Transformer Block组成
Target & LOSS
- 目标是恢复图像，因此使用pixel级别的loss——MSE，但是只对masked patch做
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！