发布
2019年2月14日，OpenAI 发布了 GPT-2，这是 GPT 的直接升级版，参数规模超过 10 倍，训练数据量也超过 10 倍。由于对技术恶意应用的担忧，OpenAI 最初并未发布完整的 15 亿参数模型，而是发布了一个小得多的版本供研究人员实验。
模型规格
- 架构：大型 Transformer 解码器
- 参数规模：15 亿参数（是 GPT 的 10 倍以上）
- 训练数据：800 万网页，约 40GB 互联网文本
- 训练目标：预测给定文本中所有前一个词后的下一个词
核心能力
GPT-2 展示了广泛的能力，包括：
条件文本生成
GPT-2 能够根据输入提示生成前所未有的高质量条件合成文本样本。模型像变色龙一样，能够适应条件文本的风格和内容，生成关于任意主题的真实且连贯的续篇。
零样本泛化
GPT-2 在无需任务特定训练的情况下，从原始文本中学习执行多种任务：
| 任务 | 示例 |
|---|---|
| 阅读理解 | 回答关于给定段落的问题 |
| 机器翻译 | 法语到英语的翻译 |
| 问答 | 回答事实性问题 |
| 摘要 | 总结新闻文章 |
SOTA 零样本结果
GPT-2 在多种领域特定语言建模任务上达到 SOTA，无需在任何任务特定数据上训练：
| 数据集 | 指标 | GPT-2 结果 | 之前记录 | 人类表现 |
|---|---|---|---|---|
| Winograd Schema Challenge | 准确率 (+) | 70.70% | 63.7% | 92%+ |
| LAMBADA | 准确率 (+) | 63.24% | 59.23% | 95%+ |
| LAMBADA | 困惑度 (-) | 8.6 | 99 | ~1-2 |
| Children's Book Test | 准确率 (+) | 93.30% | 85.7% | 96% |
| Penn Tree Bank | 困惑度 (-) | 35.76 | 46.54 | unknown |
| WikiText-2 | 困惑度 (-) | 18.34 | 39.14 | unknown |
| WikiText-103 | 困惑度 (-) | 17.48 | 18.3 | unknown |
发布策略
由于担心大型语言模型被用于生成欺骗性、偏见性或滥用性语言，OpenAI 采取了分阶段发布策略：
- 初始发布（2019年2月）：仅发布 1.17 亿参数的小模型和技术论文
- 中期更新（2019年5月）：发布 3.45 亿参数版本，并与 AI 和安全社区合作伙伴分享 7.62 亿和 15 亿参数版本
政策影响
大型通用语言模型可能产生重大的社会影响：
有益应用：
- AI 写作助手
- 更强大的对话代理
- 无监督语言翻译
- 更好的语音识别系统
潜在滥用：
- 生成误导性新闻文章
- 在线冒充他人
- 自动化生成滥用或伪造内容发布到社交媒体
- 自动化生成垃圾邮件/钓鱼内容
这些发现意味着技术正在降低生成虚假内容和发动虚假信息攻击的成本，公众需要对在线文本更加持怀疑态度。
后续更新
2019年5月，OpenAI 实施了负责任发布的两种机制：分阶段发布和基于合作伙伴的共享。发布了更大的 3.45 亿参数版本作为分阶段发布的下一步，并与 AI 和安全社区合作伙伴共享 7.62 亿和 15 亿参数版本，以提高社会对大型语言模型的准备程度。