Transformer

Transformer能解释一切吗？

提出Transformer的那篇论文《Attention is All You Need》问世已经是六年前的事了。当初的8位论文作者有6人出自谷歌，但到现在大多

AI人工智能 2023-08-12

大模型套壳祛魅：质疑套壳，理解套壳

刚刚过去的2023年是大模型元年，在国产大模型数量狂飙突进的同时——已经超过200个，“套壳”一直是萦绕在大模型头上的舆论阴云。从年初到年末，从百度文心一言到零

AI人工智能 2024-01-04

AI基金年终盘点 | 一文看懂2024年AI趋势

PART1：Coatue——最好的AI还没到来Coatue是一家总部位于纽约的对冲基金，以持之以恒地对TMT赛道押注受业界关注，自1999年由PhilippeL

AI人工智能 2024-01-09

Transformer神经网络：GPT等AI大模型的基石

上文介绍了生成对抗网络（GAN）的基础概念，今天我们来介绍Transformer神经网络。Transformer神经网络模型仅基于注意机制（AttentionM

AI人工智能 2024-02-19

马斯克的Grok-1为什么不采用经典Transformer？

2024年3月17日马斯克旗下的xAI公司开源了其大语言模型Grok-1的源代码。Grok-1并未像GPT模型那样，采用AI新贵Transformer，而是用了

AI人工智能 2024-04-06

还在卷长文本？谷歌最新论文直接把文本干到…无限长了

当人们还在比拼上下文窗口的时候，谷歌发布了这样一篇论文《LeaveNoContextBehind:EfficientInfiniteContextTransfo

产品经理 2024-04-16

大模型最强架构TTT问世！斯坦福UCSD等5年磨一剑， 一夜推翻Transformer

一觉醒来，超越Transformer和Mamba的新架构诞生了？斯坦福、UCSD、UC伯克利和Meta的研究人员提出了一种全新架构，用机器学习模型取代RNN的隐藏状态。论文地址：https://arx

AIGC 2024-07-11

语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场

Transformer和Diffusion，终于有了一次出色的融合。自此，语言模型和图像生成大一统的时代，也就不远了！这背后，正是Meta最近发布的Transfusion——一种训练能够生成文本和图像

AIGC 2024-08-27