安装Xinference及其所有可选依赖:
pip install "xinference[all]"
启动Xinference服务:
xinference
注册新模型时,以下圈红位置为固定设置,其他字段可以根据需要自定义,最后点击“Register Model”。
模型注册完成后,前往“Custom Models”页面,找到刚刚注册的模型。
点击“Run”按钮来启动模型。
启动WebUI以便进行交互式推理。
现在您可以使用WebUI进行deploy模型推理了!
安装Xinference及其所有可选依赖:
pip install "xinference[all]"
启动Xinference服务:
xinference
注册新模型时,以下圈红位置为固定设置,其他字段可以根据需要自定义,最后点击“Register Model”。
模型注册完成后,前往“Custom Models”页面,找到刚刚注册的模型。
点击“Run”按钮来启动模型。
启动WebUI以便进行交互式推理。
现在您可以使用WebUI进行deploy模型推理了!