发布
GLM-130B 是清华大学 KEG 实验室和智谱 AI 联合发布的开源中英双语预训练模型，于 2022 年 10 月在 ICLR 2023 上发表论文。该模型拥有 1300 亿参数，是当时最大的开源双语预训练模型之一。
GLM-130B 的技术报告总结了从该版本开始的发展历程，奠定了后续 ChatGLM 系列模型的技术基础。
核心特性
模型架构
GLM-130B 基于 General Language Model (GLM) 架构，采用了创新的自回归空白填充（Autoregressive Blank Infilling）预训练任务，使模型能够更好地理解和生成自然语言。
- 参数规模：1300 亿参数
- 上下文长度：2048 tokens
- 支持语言：中文、英文
- 稀疏注意力：采用稀疏注意力机制，在保持模型性能的同时降低计算成本
训练数据
模型使用了大规模的中英双语数据集进行预训练，包括：
- 中文语料：涵盖新闻、百科、书籍、网页等多种来源
- 英文语料：涵盖 Common Crawl、BooksCorpus、Wikipedia 等
性能表现
GLM-130B 在多个基准测试中达到了当时的最佳水平：
| 基准测试 | 成绩 |
|---|---|
| MMLU | 54.0% |
| GLUE | 89.8 |
| SuperGLUE | 80.9 |
| XNLI | 82.9% |
| C-Eval | 60.1% |
开源与部署
GLM-130B 权重对学术研究完全开放，推动了中文大模型的研究和应用。基于 GLM-130B，后续发展出了 ChatGLM 系列对话模型，包括 ChatGLM-6B、ChatGLM2-6B、ChatGLM3 等。
引用
@misc{zeng2022glm,
title={GLM-130B: An Open Bilingual Pre-trained Model},
author={Aohan Zeng and Xiao Liu and Zhengxiao Du and Zihan Wang and Hanyu Lai and Ming Ding and Zhuoyi Yang and Yifan Xu and Wendi Zheng and Xiao Xia and Weng Lam Tam and Zixuan Ma and Yufei Xue and Jiale Liu and Weizhen Qi and Wenyu Zhang and Yujia Qin and Yangyi Chen and Jiaxin Shi and Jingdong Wang and Jianguo Li and Furu Wei},
year={2022},
eprint={2210.02414},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
发展历程
GLM-130B 是 GLM 系列模型发展的重要里程碑：
- 2021 年：GLM 基础模型发布（ACL 2022）
- 2022 年：GLM-130B 发布，开启百亿参数开源时代
- 2023 年：ChatGLM-6B、ChatGLM2-6B、ChatGLM3 相继发布
- 2024 年：GLM-4 系列模型发布
- 2025-2026 年：GLM-4.5、GLM-4.6、GLM-4.7、GLM-5 系列持续迭代