硬件需求
-
TigerBot-7B-sft 模型硬件需求
注:TigerBot所有模型都需要自己手动下载到项目的./model/TigerBot目录中,模型下载地址TigerBot-7B-sft--所有模型包含180b下载地址
量化等级 最低 GPU 显存(推理) 最低 GPU 显存(高效参数微调) FP16(无量化) 17.2 GB 17.2 GB INT4 8.5 GB 8.5 GB -
ChatGLM-6B 模型硬件需求
注:如未将模型下载至本地,请执行前检查
$HOME/.cache/huggingface/
文件夹剩余空间,模型文件下载至本地需要 15 GB 存储空间。 注:一些其它的可选启动项见项目启动选项 模型下载方法可参考 常见问题 中 Q8。量化等级 最低 GPU 显存(推理) 最低 GPU 显存(高效参数微调) FP16(无量化) 13 GB 14 GB INT8 8 GB 9 GB INT4 6 GB 7 GB -
MOSS 模型硬件需求
注:如未将模型下载至本地,请执行前检查
$HOME/.cache/huggingface/
文件夹剩余空间,模型文件下载至本地需要 70 GB 存储空间模型下载方法可参考 常见问题 中 Q8。
量化等级 最低 GPU 显存(推理) 最低 GPU 显存(高效参数微调) FP16(无量化) 68 GB - INT8 20 GB - -
Embedding 模型硬件需求
本项目中默认选用的 Embedding 模型 GanymedeNil/text2vec-large-chinese 约占用显存 3GB,也可修改为在 CPU 中运行。
Docker 部署
为了能让容器使用主机GPU资源,需要在主机上安装 NVIDIA Container Toolkit。具体安装步骤如下:
软件需求
本项目已在 Python 3.8.1 - 3.10,CUDA3.10.11,CUDA 11.7 环境下完成测试。已在 Windows、ARM 架构的 macOS、Linux 系统中完成测试。
vue前端需要node18环境