embedding模型指定gpu启动报错

[jingzl]

System Info / 系統信息

系统：ubuntu22.04
Driver Version: 535.129.03
CUDA 12.2

Running Xinference with Docker? / 是否使用 Docker 运行 Xinfernece？

• docker / docker
• pip install / 通过 pip install 安装
• installation from source / 从源码安装

Version info / 版本信息

xinference, version 1.1.0

The command used to start Xinference / 用以启动 xinference 的命令

docker run -d
--name xinference
-v /data/xinference/data/.xinference:/root/.xinference
-v /data/xinference/data/.cache/huggingface:/root/.cache/huggingface
-v /data/xinference/data/.cache/modelscope:/root/.cache/modelscope
-v /data/xinference/log:/workspace/xinference/logs
-e XINFERENCE_HOME=/data/xinference
-e XINFERENCE_MODEL_SRC=modelscope
-e CUDA_DEVICE_ORDER=PCI_BUS_ID
-e PYTORCH_NVML_BASED_CUDA_CHECK=1
-e CUDA_VISIBLE_DEVICES=0,1,2,3
-p 3000:9997
--gpus all
--restart always
xprobe/xinference:latest
xinference-local -H 0.0.0.0 --log-level debug

Reproduction / 复现过程

Expected behavior / 期待表现

正常启动模型

[qinxuye]

Xinference 镜像要求 cuda 12.4 了，12.2 可能会有问题。