ChatGLM-6B - 开源中英双语对话模型，开启消费级部署新时代 - GLM

发布

ChatGLM-6B 是清华大学 KEG 实验室和智谱 AI 联合发布的开源中英双语对话模型，于 2023 年 3 月在 Hugging Face 等社区发布。该模型开启了中文大模型消费级部署的新时代，让普通用户也能在个人电脑上运行强大的对话模型。

核心特性

模型架构

ChatGLM-6B 基于 General Language Model (GLM) 架构，具有 62 亿参数。使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。

参数规模：62 亿参数
上下文长度：2048 tokens
支持语言：中文、英文
量化支持：支持 INT4、INT8 量化，大幅降低部署门槛

训练数据

经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

低部署门槛

结合模型量化技术，用户可以在消费级的显卡上进行本地部署：

INT4 量化：最低只需 6GB 显存
INT8 量化：最低只需 10GB 显存
FP16 全精度：需要约 13GB 显存

使用方式

代码调用

python
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm-6b", trust_remote_code=True).half().cuda()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)

软件依赖

pip install protobuf==3.20.0 transformers==4.27.1 icetk cpm_kernels

协议

本仓库的代码依照 Apache-2.0 协议开源，ChatGLM-6B 模型的权重的使用则需要遵循 Model License。

ChatGLM-6B 权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

引用

@misc{glm2024chatglm,
      title={ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools}, 
      author={Team GLM and Aohan Zeng and Bin Xu and Bowen Wang and Chenhui Zhang and Da Yin and Diego Rojas and Guanyu Feng and Hanlin Zhao and Hanyu Lai and Hao Yu and Hongning Wang and Jiadai Sun and Jiajie Zhang and Jiale Cheng and Jiayi Gui and Jie Tang and Jing Zhang and Juanzi Li and Lei Zhao and Lindong Wu and Lucen Zhong and Mingdao Liu and Minlie Huang and Peng Zhang and Qinkai Zheng and Rui Lu and Shuaiqi Duan and Shudan Zhang and Shulin Cao and Shuxun Yang and Weng Lam Tam and Wenyi Zhao and Xiao Liu and Xiao Xia and Xiaohan Zhang and Xiaotao Gu and Xin Lv and Xinghan Liu and Xinyi Liu and Xinyue Yang and Xixuan Song and Xunkai Zhang and Yifan An and Yifan Xu and Yilin Niu and Yuantao Yang and Yueyan Li and Yushi Bai and Yuxiao Dong and Zehan Qi and Zhaoyu Wang and Zhen Yang and Zhengxiao Du and Zhenyu Hou and Zihan Wang},
      year={2024},
      eprint={2406.12793},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

后续迭代

ChatGLM-6B 的发布为后续迭代奠定了基础：

ChatGLM2-6B（2023年6月）：更强性能、更长上下文（32K）、更高效推理
ChatGLM3（2023年10月）：多模态支持、Agent 能力
GLM-4 系列（2024年起）：全面升级的旗舰模型