【小白学习PyTorch教程】十五、BERT：通过PyTorch来创建一个文本分类的Bert模型

@Author：Runsen

2018 年，谷歌发表了一篇题为《Pre-training of deep bidirectional Transformers for Language Understanding》的论文。

在本文中，介绍了一种称为BERT（带转换器Transformers的双向编码Encoder 器表示）的语言模型，该模型在问答、自然语言推理、分类和通用语言理解评估或 (GLUE)等任务中取得了最先进的性能.

BERT全称为Bidirectional Encoder Representation from Transformers[1]，是一种用于语言表征的预训练模型。

它基于谷歌2017年发布的Transformer架构，通常的Transformer使用一组编码器和解码器网络，而BERT只需要一个额外的输出层，对预训练进行fine-tune，就可以满足各种任务，根本没有必要针对特定任务对模型进行修改。

BERT将多个Transformer编码器堆叠在一起。Transformer基于著名的多头注意力（Multi-head Attention）模块，该模块在视觉和语言任务方面都取得了巨大成功。

在本文中，我们将使用 PyTorch来创建一个文本分类的Bert模型。

笔者介今天绍一个python库 — simpletransformers，可以很好的解决高级预训练语言模型使用困难的问题。

simpletransformers使得高级预训练模型（BERT、RoBERTa、XLNet、XLM、DistilBERT、ALBERT、CamemBERT、XLM-RoBERTa、FlauBERT）的训练、评估和预测变得简单，每条只需3行即可初始化模型。

数据集来源：https://www

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！