tokenizer的问题

[paulcx]

1. 我们知道Yi-34B包括1.5的词表是64000，但为什么tokenizer中多出了3个token，实际是64003？
2. Yi-1.5使用了新的chatml作为chat template，中间包括了assistant角色，但是词表中没有该token（user是有的），这导致它会被拆成两个token(ass + istant)。

其他的诸如use_fast输出结果不同，tokenizer config中默认enable add bos等问题在其他issues中也有反映

[Haijian06]

@paulcx 感谢提问，目前使用 Transformers 进行推理会出现这个问题，目前可以尝试Transformers version: 4.42.4 稳定版本，然后下载tokenizer_config.json，然后修改下add_prefix_space改为false。

[paulcx]

@paulcx 感谢提问，目前使用 Transformers 进行推理会出现这个问题，目前可以尝试Transformers version: 4.42.4 稳定版本，然后下载tokenizer_config.json，然后修改下add_prefix_space改为false。

问题1和2可以解答一下吗？