GPT-1 - 通过生成式预训练提升语言理解能力

发布

2018年6月，OpenAI 发布了 GPT-1（Generative Pre-trained Transformer），这是首个基于 Transformer 架构的生成式预训练语言模型。论文《Improving Language Understanding by Generative Pre-Training》发表于 OpenAI 官方研究页面。

核心思想

GPT-1 提出了一种半监督学习方法，结合无监督预训练和监督微调两个阶段：

• 无监督预训练：在大规模无标签文本语料上训练语言模型，学习通用语言表示
• 监督微调：在特定任务的有标签数据上进行微调，适应具体任务

这种两阶段方法证明了：通过在丰富的无标签数据上进行生成式预训练，模型能够学习到通用的语言表示，这些表示可以通过微调迁移到多种下游任务。

模型架构

GPT-1 使用多层 Transformer 解码器作为语言模型：

• 架构：12 层 Transformer decoder
• 注意力头：12 个注意力头
• 隐藏层维度：768
• 参数规模：约 1.17 亿参数

训练数据

使用 BooksCorpus 数据集进行预训练，包含超过 7000 本未出版的书籍，涵盖冒险、奇幻、浪漫等多种类型。该数据集包含长段落的连续文本，使生成模型能够学习长距离依赖。

实验结果

GPT-1 在 12 个语言理解任务中的 9 个任务上显著刷新了 SOTA：

任务类型

GPT-1 评估了四种语言理解任务类型：

• 自然语言推理：SNLI、MultiNLI、QNLI、RTE、SciTail
• 问答：RACE、Story Cloze
• 语义相似度：MSR Paraphrase Corpus、Quora Question Pairs、STS Benchmark
• 文本分类：Stanford Sentiment Treebank-2、CoLA

影响

GPT-1 的发布标志着 NLP 领域进入预训练时代，其核心思想（大规模无监督预训练 + 监督微调）成为后续所有大语言模型的基础范式。GPT-1 证明了 Transformer 架构在语言理解任务上的强大潜力，为 GPT-2、GPT-3、ChatGPT 等后续模型奠定了技术基础。

引用

@article{radford2018improving,
  title={Improving Language Understanding by Generative Pre-Training},
  author={Radford, Alec and Narasimhan, Karthik and Salimans, Tim and Sutskever, Ilya},
  journal={OpenAI},
  year={2018}
}