vllm deploy with stop_token_ids

[geasyheart]

你好～请教个问题，我发现有个现象，当使用vllm进行部署时在SamplingParams中使用stop_token_ids会出现回答不完全的现象。

例如：
问：你是谁呀？
回答： 我是***，我能回答

然后就结束了。

而不使用stop_token_ids则正常：

sampling_params = SamplingParams(temperature=0.7, top_p=0.8,top_k=20,repetition_penalty=1.05, stop_token_ids=[], max_tokens=32768)

请问这么处理是否合适以及为什么不需要指定stop_token_ids？？

[allendred]

同问
#46

[ticoAg]

参考 vllm-project/vllm#2947 (comment)

[LeonG7]

vllm的问题 vllm-project/vllm#3016

[currenttime]

指定maxtoken长度，默认为16，所以会截断

[currenttime]

output = llm.generate(text, sampling_params=SamplingParams(max_tokens=512))

[github-actions]

This issue has been automatically locked since there has not been any recent activity after it was closed. Please open a new issue for related bugs.