ChatGLM本地模型部署
ChatGLM2-6B
ChatGLM2-6B 简介
ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本，具体介绍可参阅ChatGLM2-6B 项目主页
💡 注意:
ChatGLM2-6B 权重对学术研究完全开放，在获得官方的书面许可后，亦允许商业使用。本教程只是介绍了一种用法，无权给予任何授权！推荐配置
依据官方数据，同样是生成 8192 长度，量化等级为 FP16 要占用 12.8GB 显存、int8 为 8.1GB 显存、int4 为 5.1GB 显存，量化后会稍微影响性能，但不多。
| 类型 | 内存 | 显存 | 硬盘空间 |
|---|---|---|---|
| fp16 | >=16GB | >=16GB | >=25GB |
| int8 | >=16GB | >=9GB | >=25GB |
| int4 | >=16GB | >=6GB | >=25GB |
源码部署
- 1.从GitHub仓库中拉取代码
git clone https://github.com/THUDM/ChatGLM2-6B- 2.进入下载源码的目录
cd ChatGLM2-6B详细部署参考以上提示的部署文章