计算机视觉中Transformer的应用，论文精选
Transformer论文精选
- 简介
- 2D视觉
- 目标检测
- 图像分类
- 目标追踪
- 语义分割
- 图像合成
- 动作识别
- 3D视觉
- 点云处理
- 运动建模
- 人体建模
简介
个人建议，在不断学习深度学习知识的时候，通常现有的教材教程出现的算法都是几年前研究的了，我们也应该不断去学习新的算法，准确率效果更好的，学习新的关键技术，通常最直接的方法就是看论文，找到想看的英文论文，如果看英语太麻烦了，最简单办法就是复制英文论文标题，去网站搜索标题就行，有专门的博主对论文已经做好翻译的文章。
在过去的一年里，《注意力就是你所需要的》中的Transformer被很多人所关注。除了在翻译质量上产生重大改进外，它还为许多其他NLP任务提供了一个新的架构。这篇论文本身写得非常清楚，但传统的观点是，它的正确实现相当困难。
《注意力就是你所需要的》文章链接：
Attention Is All You Need
在计算机视觉领域，CNN自2012年以来已经成为视觉任务的主导模型。随着出现了越来越高效的结构。最早在在一系列序列建模任务中，Transformer展现出可以替代RNN的强大能力。Transformer弥补了RNN最明显的缺点：RNN内部按照时间步进行计算的方式使得它们没有办法实现并行计算。Transformer亦通过自注意力机制应对梯度消失问题。
于是逐渐的Transformer结构也应用到了视觉项目中，
为什么使用transformer结构：
- Transformer被证明是一个简单和可扩展的框架，用于计算机视觉任务，如图像识别、分类和分割，或仅仅学习全局图像表示。
- 与传统方法相比，在训练效率上具有显著优势。在架构上，可以采用纯Transformer的方式使用，也可以与cnn结合使用混合的方式使用。
- 它也面临着挑战，比如在DETR中检测小目标的性能较低，在Vision Transformer (ViT)中，当预训练数据集较小时，性能也不是很好。
- Transformer正在成为学习序列数据(包括文本、图像和时间序列数据)的更通用的框架。
下面是针对不同视觉任务下精选的论文
2D视觉
目标检测
- Toward Transformer-Based ObjectDetection
- Rethinking Transformer-based Set Prediction for Object Detection
- UP-DETR: Unsupervised Pre-training for Object Detection with Transformers
图像分类
- AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE
目标追踪
- TransTrack: Multiple Object Tracking with Transformer
语义分割
- End-to-End Video Instance Segmentation with Transformers
- Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers
图像合成
- Taming Transformers for High-Resolution Image Synthesis
动作识别
- Video Action Transformer Network
3D视觉
点云处理
- PCT: Point Cloud Transformer
- Point Transformer
运动建模
- Learning to Generate Diverse Dance Motions with Transformer
- A Spatio-temporal Transformer for 3D Human Motion Prediction
人体建模
- End-to-End Human Pose and Mesh Reconstruction with Transformers
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！