Skip to content

1.1.1
Compare
Choose a tag to compare
@shibing624 shibing624 released this 08 Sep 11:19
· 27 commits to main since this release
1.1.1
75fa4c4

1.1.1版本

  1. 支持多卡推理，推理速度加倍，调库textgen做batch推理，多卡推理更方便、快速。

多卡数据并行，batch推理：

cd examples/gpt
CUDA_VISIBLE_DEVICES=0,1 torchrun --nproc_per_node 2 inference_multigpu_demo.py --model_type chatglm --base_model THUDM/chatglm-6b
  1. 优化ChatGLM-6B/Baichuan/LLaMA2/BLOOM的多轮对话SFT代码，逻辑合并到textgen/gpt下，统一处理多模型微调，加入prompt模板支持。

Full Changelog: 1.1.0...1.1.1

Assets 2
Loading